Slik blokkerer et Bot User Agent

Mange søkemotorer bruker en teknikk som kalles "spidering", som betyr at de sender en bruker-agent for å besøke nettstedet ditt og følg lenker til ulike sider. Dette er hvordan websidene dine blir indeksert av de store søkemotorene slik at de kan dukke opp i søkeresultatene. Selv om du kanskje ikke vil blokkere brukeragentene for store søkemotorene, det er andre roboter som vil gjennomgå webområdet ditt, ved å bruke unødvendig båndbredde og bremse ned nettstedet. Bruk en robots.txt-fil for å vise alle agenter du ønsker å blokkere.

Bruksanvisning

1 Åpne opp en ren tekst editor, for eksempel Microsoft Notisblokk. Skriv "User-Agent:" og skriv inn navnet på en bruker-agent du ønsker å blokkere. Hvis du er usikker på om en bestemt bruker-agent, besøke Robots Database (oppført i Resources) for å finne ut mer informasjon, for eksempel navn, type, beskrivelse og eier.

2 Trykk på enter og skrive "Forby:" Skriv inn nettsiden du ønsker dette user-agent for å unngå, som starter like etter domenets navn. For eksempel, ville du skrive inn "/webpage.html" for å utelukke siden example.com/webpage.html. Skriv "/" for å instruere user-agent for å unngå hele nettstedet. Gjenta prosessen for så mange agenter som du ønsker å blokkere.

3 Gi filen navnet "Robots.txt" og lagre det på harddisken. Åpne rotdomenet på ditt nettsted og laste opp robots.txt-filen. Hvis du er usikker på hvordan du får tilgang til roten av domenet, spør din web host for instruksjoner.