Hvordan bli kvitt av en Search Spider

Når du oppretter en nettside, vil søkemotoren edderkopper krype, eller søk, ditt nettsted for sider å legge til søkemotoren databaser. Edderkoppen er en virtuell robot, ikke et menneske. Av denne grunn, edderkoppen sannsynlig vil legge til sider til søkemotoren databaser som du kanskje ikke vil ha lagt til. Det er en enkel løsning som du kan bruke til å blokkere edderkopper fra å gjennomgå bestemte sider på nettstedet ditt. Du kan også blokkere hele området fra edderkopp bots.

Bruksanvisning

1 Logg inn i nettstedets web hosting Control Panel.

2 Klikk på filen katalogen. Du vil se alle sidefilene og katalog mapper. Skriv ned navnene på alle side filer og mapper vil du unngå søkemotoren edderkopper fra å få tilgang.

3 Velg alternativet for å lage en "ny" side fil i fellesmappen. I stedet for å gi den nye filen en ".html" filnavn, gi den nye filen "robots.txt".

4 Ta med følgende tekst innsiden av HTML redaktør for den nye filen. Tilpass teksten ved å skrive inn filnavnene for de sidene du ønsker å blokkere fra søke edderkopper. Du kan legge til flere sider som er nødvendig ved å legge til en annen "Forby" rad.

Bruker agent:*

Forby: /page1.html/
Forby: /side2.html
Forby: /page3.html
Forby: /page4.html/
Forby: /page4.html/
Disallow: / folder1 /
Disallow: / mappe2 /

Hvis du ønsker å blokkere søkemotoren edderkopper fra å søke i hele området, bare skriv følge teksten i stedet for de nevnte tekst.

Bruker agent: *
Disallow: /

5 Klikk "Lagre" for å lagre endringene i robots.txt-filen.