Hvordan blokkere alle søkemotorer med Robots.txt

Søkemotor roboter, også kalt Web edderkopper, skuring Internett søker etter informasjon. De kopierer data fra nettsteder og lagre den på sine servere. Dette gjør det mulig for Internett-surfere å søke på nettet og finne informasjon. Webutviklere styre indeksering prosessen ved å plassere en spesiell tekstfil på sine nettsider. Denne filen, kalt robots.txt, forteller edderkoppene som deler av et nettsted for å søke og hvilke deler av et område for å ignorere. Hvis du vil forhindre alle søkemotorer fra å indeksere ditt nettsted, plassere en robots.txt-fil på webserveren som bærer denne instruksjonen.

Bruksanvisning

1 Åpne Notepad eller tekstbehandlingsprogrammet og opprette et nytt dokument.

2 Legg til følgende tekst i dokumentet:

Bruker agent: *

Disallow: /

Dette vil forhindre alle søkemotorer får tilgang til nettstedet.

3 Lagre filen som robots.txt og laste det opp til rotkatalogen på ditt nettsted.

Hint

• Hvis du vil tillate søkemotorer å indeksere nettstedet ditt på nytt, slette robots.txt-filen. Søkemotorer trenger ikke å hedre instruksjonene i en robots.txt-fil. Imidlertid vil de fleste søkemotorer lese filen og bare søke hva direktivene i filen tillater.