א ראָבאָצ.טקסט טעקע סטאָרד אין דער וואָרצל פון דיין וועבזייַטל וועט זאָגן וועב ראָובאַץ ווי זוכן מאָטאָר ספּיידערז וואָס דירעקטעריז און טעקעס זיי זענען ערלויבט צו קריכן. עס איז גרינג צו נוצן אַ ראָבאָצ.טקסט טעקע, אָבער עס זענען עטלעכע זאכן איר זאָל געדענקען:
- שוואַרץ האַט וועב ראָובאַץ וועט איגנאָרירן דיין ראָובאַץ.טקסט טעקע. די מערסט פּראָסט טייפּס זענען מאַלוואַרע באָץ און ראָובאַץ זוכן פֿאַר בליצפּאָסט אַדרעסז צו שניט.
- עטלעכע נייַ פּראָוגראַמערז וועט שרייַבן ראָובאַץ וואָס איגנאָרירן די ראָובאַץ.טקסט טעקע. דעם איז יוזשאַוואַלי געטאן דורך גרייַז.
- ווער עס יז קענען זען דיין ראָבאָצ.טקסט טעקע. זיי זענען שטענדיק גערופן robots.txt און זענען שטענדיק סטאָרד אין דער וואָרצל פון דעם וועבזייַטל.
- צום סוף, אויב עמעצער איז פֿאַרבינדונג צו אַ טעקע אָדער וועגווייַזער אַז איז אַרויסגעפירט דורך דיין ראָבאָצ.טקסט טעקע פון אַ בלאַט וואָס איז נישט יקסקלודיד דורך זייער ראָובאַץ.טקסט טעקע, די זוכן ענדזשאַנז קען עס יזיין.
דו זאלסט נישט נוצן ראָובאַץ.טקסט טעקעס צו באַהאַלטן עפּעס וויכטיק. אַנשטאָט, איר זאָל שטעלן וויכטיק אינפֿאָרמאַציע הינטער זיכער פּאַסווערדז אָדער לאָזן עס אַוועק די וועב לעגאַמרע.
ווי צו נוצן דעם מוסטער פילעס
נאָכמאַכן די טעקסט פון די מוסטער אַז איז קלאָוסאַסט צו וואָס איר ווילן צו טאָן, און מאַך עס אין דיין ראָובאָוצ.טקסט טעקע. טוישן די ראָבאָט, וועגווייַזער, און טעקע נעמען צו גלייַכן דיין בילכער קאַנפיגיעריישאַן.
צוויי באַסיק ראָבאָצ.טקסט פילעס
באַניצער-אַגענט: *
Disallow: /
דעם טעקע זאגט אַז קיין ראָבאָט (באַניצער-אַגענט: *) אַז אַקסעססעס עס זאָל איגנאָרירן יעדער בלאַט אויף דעם פּלאַץ (דיסאַללאָוו: /).
באַניצער-אַגענט: *
Disallow:
דער טעקע זאגט אז קיין ראָבאָט (באַניצער-אַגענט: *) אַז אַקסעססעס עס איז ערלויבט צו זען יעדער בלאַט אויף דעם פּלאַץ (דיסאַללאָוו:).
איר קענען אויך טאָן דאָס דורך געלאזן דיין ראָובאַץ.טקסט טעקע ליידיק אָדער נישט געהאלטן איינער אויף דיין מאַפּע בייַ אַלע.
באַשיצן ספּעציפיש דירעקטעריז פון ראָובאַץ
באַניצער-אַגענט: *
דיסאַללאָוו: / קגי-בין /
Disallow: / טעמפּ /
דער טעקע זאגט אז קיין ראָבאָט (באַניצער-אַגענט: *) אַז אַקסעססעס עס זאָל איגנאָרירן די דירעקטעריז / קגי-בין / און / טעמפּ / (דיסאַללאָוו: / קגי-בין / דיסאַללאָוו: / טעמפּ /).
באַשיצן ספּעציפיש בלעטער פון ראָובאַץ
באַניצער-אַגענט: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
דעם טעקע זאגט אַז קיין ראָבאָט (באַניצער-אַגענט: *) אַז אַקסעססעס עס זאָל איגנאָרירן די טעקעס / jenns-stuff.htm און /private.php (דיסאַללאָוו: / jenns-stuff.htm Disallow: /private.php).
פאַרהיטן אַ ספּעציפיש ראָבאָט פון אַקסעסינג דיין וועבזייַטל
באַניצער-אַגענט: ליקאָס / קסקס
Disallow: /
דער טעקע זאגט אַז די Lycos bot (באַניצער-אַגענט: Lycos / xx) איז ניט ערלויבט צוטריט ערגעץ אויף דעם פּלאַץ (Disallow: /).
לאָזן בלויז איין ספּעציפיש ראָבאָט אַקסעס
באַניצער-אַגענט: *
Disallow: /
באַניצער-אַגענט: Googlebot
Disallow:
דער טעקע ערשטער דיסאַלאָוז אַלע ראָובאַץ ווי מיר האבן אויבן, און דעריבער בלייבן די Googlebot (באַניצער-אַגענט: Googlebot) צוטריט צו אַלץ (Disallow:).
קאַמביינינג Multiple Lines צו באַקומען פּונקט די ויסשליסיק איר ווילט
בשעת עס איז בעסער צו נוצן אַ ינקלוסיוו User-אַגענט שורה, ווי באַניצער-אַגענט: *, איר קענען זיין ווי ספּעציפיש ווי איר ווי. געדענקען אַז די ראָובאַץ לייענען די טעקע אין סדר. אַזוי אויב די ערשטער שורות זאָגן אַז אַלע ראָובאַץ זענען אפגעשטעלט פון אַלץ, און דעמאָלט שפּעטער אויף די טעקע עס זאגט אַז אַלע ראָובאַץ זענען ערלויבט צוטריט צו אַלץ, די ראָובאַץ וועט האָבן צוטריט צו אַלץ.
אויב איר'רע נישט זיכער אויב איר האָט געשריבן דיין ראָובאַץ.טקסט טעקע ריכטיק, איר קענען נוצן Google וועבמאַסטער מכשירים צו קאָנטראָלירן דיין ראָבאָץ.טקסט טעקע אָדער שרייַבן אַ נייַ איינער.