Slik skjuler et underdomene fra Google Spider

"Edderkopper", også kjent som "robotsøkeprogrammer", er automatiske programmer som søker på Internett og skanne sidene, eller underdomener, de finner. Når edderkopper sendes fra søkemotorer som Google, er det som regel fordi de legger websider til Google-indeksen, slik at folk kan finne dem når de utfører søk. Men du vil kanskje holde enkelte deler av nettstedet ditt private fra Google, slik at de ikke vises i Googles søkeresultatsider. Dette kan gjøres med et stykke kode på katalogen, men prosessen krever FTP-tilgang for å fullføre.

Bruksanvisning

1 Åpne et tekstredigeringsprogram, for eksempel TextEdit eller Notepad. Lagre filen på datamaskinens harddisk som "robots.txt".

2 Skriv inn følgende kode på første linje av filen:

User-Agent: Googlebot

Denne første kodelinje angir hvilke edderkopper er velkomne, og som ikke er. Hvis du bare sette «Googlebot» i denne linjen, vil underdomene bli gjennomgått av edderkopper fra andre søkemotorer, som for eksempel AskJeeves og Bing. Hvis du ønsker å blokkere alle edderkoppene får tilgang til underkatalogen, plasserer en stjerne "*" i denne linjen, slik:

Bruker agent: *

3 Skriv inn følgende kode på den andre linjen i filen:

Disallow: / sti / til / katalogen / du / ønsker / til / blokk

Erstatt "banen" med selve banen til underkatalogen, i forhold til din hjemmeside. Lagre filen.

4 Logg inn på FTP-konto for nettstedet ditt. Laste opp roten siden, og laste opp robots.txt-filen til stedet. Dette vil hindre at søkemotoren edderkopper du angir tilgangen til underkatalogen du angir, inkludert alle filer og mapper i den.

5 Edderkopper ikke alltid har samme navn som tilhørende søkemotor - selv om noen gjør det. For eksempel er Alta Vista edderkopper kalles Scooter og Mercator. Hvis du ønsker å blokkere andre enn googlebots edderkopper, sjekk Jafsoft.com/searchengines/webbots.html for en fullstendig liste over aktive web crawlers og deres tilknyttede søkemotorer.