Hvordan Begrens Yahoo! Crawler

December 14

Hvis du har en web hosting konto med begrenset båndbredde, kan du oppleve at båndbredden forbrukes av Yahoo! Web krypende robot er uforholdsmessig til mengden av trafikk som nettstedet ditt mottar fra søkemotoren. Microsofts Bing søkemotor gir Yahoo! S søkeresultatene i USA, mens Yahoo! fortsatt gjennomsøker nettet for sin søkemotor i andre deler av verden. Blokkere både Web krypende roboter for å begrense Yahoo! S tilgang til ditt nettsted.

Bruksanvisning

1 Åpne Notisblokk, og begynne å jobbe med en tom fil.

2 Type

User-agent: MSNBot

i første linje av filen. Trykk enter."

3 Type

forby:

etterfulgt av et mellomrom i den andre linjen i filen. Deretter skriver på siden eller mappe på nettstedet ditt som du ikke vil at Bing roboten å få tilgang. Ikke ta domenenavnet til nettstedet. For eksempel "/ mappe /" for å hindre at Bing roboten får tilgang til en mappe, eller skriv "/page.htm" for å hindre den fra å få tilgang til en side. Linjen skal nå se ut som "Disallow: / mappe /" eller "Forby. /page.htm" For å hindre at Bing roboten får tilgang til hele nettstedet, type "Disallow: /."

4 Trykk "Enter" for å gå til neste linje. Type "Disallow:" igjen, og skriv deretter inn den neste siden eller katalog som du ikke vil at Bing roboten å få tilgang. Du kan legge til så mange linjer i fila som du ønsker på denne måten.

5 Trykk "Enter" etter å ha skrevet den siste Disallow linjen.

6 Type

User-agent: Slurp

i neste blank linje. Slurp er navnet på Yahoo! Web krypende robot, som fortsatt gir søkemotorresultater i enkelte deler av verden.

7 Gjenta hver Disallow linje som du tidligere har skrevet. Trykk "Enter" for å gå til neste blank linje når du er ferdig.

8 Type

Bruker agent: *

i neste linje.

9 Type

forby:

i neste linje. Denne linjen og den forrige gi ubegrenset tilgang til andre web krypende roboter, som for eksempel Google robot.

10 Åpne "File" -menyen og klikk "Lagre". Lagre filen med navnet "robots.txt".

11 Last opp robots.txt-filen til rotkatalogen på webserveren. I de fleste tilfeller er rotkatalogen heter "public_html".

Hint

Fordi Bing gir Yahoo! S søkeresultatene i USA, blokkerer Bing Web krypende robot for å hindre din nettside vises på Yahoo! også hindrer den fra å vises på Bing.