Hvordan unngå Bot Sjekker

Søkemotorer som Google og Bing generere koblinger på sine områder ved hjelp av automatiserte programmer til skuring Internett for koblinger og innhold. Disse programmene, kjent som bots, crawlers eller edderkopper, besøker en nettside når nettstedets eier sender nettadressen til søkemotoren, eller når nettsteder besøkt av søkeroboter lenke til et annet nettsted. Et nettsted eieren kan ikke ha sin nettside, eller deler av sin nettside, for å bli oppført på en søkemotor. Slik aktiverer eiere å skjule deler av sitt nettsted, søkemotorer se etter en fil som heter robots.txt umiddelbart ved å besøke et nytt nettsted.

Bruksanvisning

1 Åpne et tekstredigeringsprogram, for eksempel Microsofts Notepad.

2 Skriv inn følgende for å forhindre roboter fra å indeksere alle områder av nettstedet ditt.

Bruker agent: *

Disallow: /

3 Endre "User-agent" verdi til navnet på en søkemotor edderkopp eller flere søke edderkopper å lage regler spesielt for disse roboter. Endre "Forby" verdi til bestemte katalognavn å blokkere roboter fra å få tilgang bare disse katalogene samtidig som de kan krysse resten av nettstedet. Legg til flere "User-agent" linjer for å skape forskjellige "Forby" kommandoer for flere roboter. For eksempel følgende linjer blokkere de fleste søkeroboter fra alle deler av et nettsted, men tillater Googles roboter uhemmet tilgang, unntatt til to kataloger:

Bruker agent: *

Disallow: /

User-agent: Googlebot

Disallow: / private /

Disallow: / hemmelig /

4 Lagre tekstfilen under navnet "robots.txt" NØYAKTIG. Ikke legg til bokstaver eller andre endringer i filnavnet.

5 Last opp filen til hoved rotkatalogen for nettstedet ditt, hvor "Main", "Velkommen" eller "Indeks" -siden er vanligvis plassert. Kontroller at nettadressen til filen ender opp atskilt fra tittelen på siden din side én omvendt skråstrek (www.example.com/robots.txt). Unngå å sette filen i en annen katalog, som roboter bare sjekke hovedkatalogen for robots.txt instruksjoner.

Hint

• Stjernen er en spesiell kommando i robots.txt som roper alle søkeroboter. Den kan ikke brukes som et "villkort" -kommandoen på annen måte.
• Du kan skjule bestemte sider samt kataloger ved å skrive ut katalogbanen til filen. For eksempel skjuler følgende tekst bare "nospiders.html" side som ligger i "hemmelig" katalog: "Forby: /secret/nospiders.html".
• Endre navnet på filen eller plassere det på noen annen enn rotkatalogen katalogen vil føre roboter å ignorere instruksjonene i filen.