በድር ጣቢያህ ስር ውስጥ የተከማቸ የ robots.txt ፋይል እንደ የፍለጋ መፈለጊያ መሳሪያዎች የመሳሰሉ የድር ሮቦቶች የትኞቹን ማውጫዎች እና ፋይሎች እንዲዳረሱ ይፈቀድላቸዋል. የ robots.txt ፋይልን መጠቀም ቀላል ነው, ግን ማስታወስ ያለብዎት አንዳንድ ነገሮች አሉ:
- ጥቁር ቆብያ ድር አውሮፕሎች የ robots.txt ፋይልዎን ይተዋሉ. በጣም የተለመዱት ዓይነቶች የመልዕክት አደገኛ ቦተሮች እና ሮቦቶች ለመልቀቅ የኢሜይል አድራሻዎችን እየፈለጉ ናቸው.
- አንዳንድ አዲስ ፕሮግራም ሰጪዎች የ robots.txt ፋይሉን ችላ የሚሉ ሮቦቶችን ይጽፋሉ. ይሄ አብዛኛውን ጊዜ በስህተት ነው.
- ማንኛውም ሰው የ robots.txt ፋይልዎን ማየት ይችላል. ሁልጊዜ ሮቦቶች ተብለው ይጠራሉ እናም ሁልጊዜ በድር ጣቢያው ስር ይከማቻሉ.
- በመጨረሻም, አንድ ሰው በፋሮስ .txt ፋይልዎ ያልተጣሰውን በገጹ ላይ በ robots.txt ፋይልዎ የተገለጸው ፋይልን ወይም አቃፊን የሚያገናኝ ከሆነ, የፍለጋ ፕሮግራሞች ግን ሊያገኙት ይችላሉ.
ማንኛውንም አስፈላጊ ነገር ለመደበቅ የ robots.txt ፋይሎችን አይጠቀሙ. ይልቁንስ, ደኅንነቱ በተጠበቀና በአስተማማኝ የይለፍ ቃሎች ላይ አስፈላጊ መረጃ ማስቀመጥ ወይም ከድር ላይ ሙሉ ለሙሉ መተው አለብዎት.
እነዚህን የናሙና ፋይሎች እንዴት እንደሚጠቀሙ
መስራት ከሚፈልጉት በጣም ቅርብ ካለው ናሙና ይቅዱና በ robots.txt ፋይልዎ ውስጥ ይለጥፉት. ከመረጡበት መዋቅር ጋር ለማዛመድ ሮቦትን, ማውጫውን እና የፋይል ስሞችን ለውጥ.
ሁለት መሰረታዊ Robots.txt ፋይሎች
የተጠቃሚ-ወኪል: *
አትፍቀድ: /
ይህ ፋይል ማንኛውም የሮቦት (ተጠቃሚ-ወኪል: *) በድረ-ገጹ ላይ ያለውን እያንዳንዱን ገጽ መተው አለበት (ይከለክላል / /).
የተጠቃሚ-ወኪል: *
አትፍቀድ-
ይህ ፋይል ማንኛውም የሮቦት (ተጠቃሚ-ወኪል: *) በድረ-ገጹ ላይ ያለውን እያንዳንዱን ገፅ እንዲታይ ይፈቀድለታል (ይከለክላል).
እንዲሁም የ robots.txt ፋይሉን ባዶ መተው ወይም በጣቢያዎ ላይ ሙሉ በሙሉ አለመኖሩን በመተው ይህን ማድረግ ይችላሉ.
የተወሰኑ ማውጫዎችን ከሮቦት ይከላከሉ
የተጠቃሚ-ወኪል: *
አትፍቀድ: / cgi-bin /
አትፍቀድ: / temp /
ይህ ፋይል የሚያገኘው ማንኛውም ሮቦት (ተጠቃሚ-ወኪል: *) ማውጫውን / cgi-bin / እና / temp / (Disallow: / cgi-bin / Disallow: / temp /) መተው አለበት.
የተወሰኑ ገጾችን ከአሮቦቶች ይከላከሉ
የተጠቃሚ-ወኪል: *
አትፍቀድ / jenns-stuff.htm
አትፍቀድ: /private.php
ይህ ፋይል ማንኛውም ወደ ሮቦቶች (User-agent: *) የሚደርሱት ፋይሎችን / jenns-stuff.htm እና / የግል propy.php ((Disallow: /jenns-stuff.htm Disallow: /private.php) መተው አለበት.
አንድ የተወሰነ ሮቦት ጣቢያዎን እንዳይደርስበት ይከላከሉ
የተጠቃሚ-ወኪል: Lycos / xx
አትፍቀድ: /
ይህ ፋይል Lycos bot (User-agent: Lycos / xx) በየትኛውም ቦታ ላይ በድረ-ገፁ ላይ መድረስ አይፈቀድም (ይከለክላል: /).
አንድ የተወሰነ የሮቦት መዳረሻ ብቻ ፍቀድ
የተጠቃሚ-ወኪል: *
አትፍቀድ: /
የተጠቃሚ-ወኪል: Googlebot
አትፍቀድ-
ይህ ፋይል ከላይ እንዳደረግነው ሁሉንም ሮቦቶች ይከለክላል, ከዚያም Googlebot (የተጠቃሚ-ወኪል: Googlebot) ሁሉም ነገር መዳረሻ አለው (መከልከል:).
የሚፈልጓቸውን መለያዎች በትክክል ለመምረጥ በርካታ መስመሮችን ያጣምሩ
እንደ የተጠቃሚ-ተወካይ: *, ሁሉንም እንደ ሁሉን አቀፍ የሚያካትት የተጠቃሚ-ወኪል መስመር መጠቀም የተሻለ ቢሆንም, እርስዎ እንደሚፈልጉት እርስዎ ልዩ ሆነው ሊሆኑ ይችላሉ. ሮቦቶች ፋይሉን በቅደም ተከተል እንዲያነቡ ያስታውሱ. ስለዚህ የመጀመሪያዎቹ መስመሮች ሁሉም ሮቦቶች ከሁሉም ነገር የተከለከሉ እንደሆኑ, ከዚያም በፋይል ውስጥ ሁሉም ሮቦቶች ሁሉም ነገር እንዲደርሱበት እንደሚፈቅዱላቸው, ሮቦቶች ሁሉንም ነገር ያገኛሉ.
የ robots.txt ፋይልዎን በትክክል እንደፃፉ እርግጠኛ ካልሆኑ የ robots.txt ፋይልዎን ለመመልከት ወይም አዲስ ለመፃፍ የ Google Webmaster መሳሪያዎችን መጠቀም ይችላሉ.