Hvordan blokkere Google fra å indeksere et nettsted

Hvis du oppretter en nettside som ikke er beregnet for allmennheten, er det liten grunn for at det skal vises på søkemotorer som Google. Hvis du ikke vil at nettstedet skal bli indeksert av Google, forby Google Web krypende robot med en robots.txt-fil. Robots.txt er en universell standard for å ikke tillate søkemotor roboter fra å gjennomgå visse områder av nettsteder, og Googles robot er konfigurert til å adlyde instruksjonene som du oppgir.

Bruksanvisning

1 Åpne Notepad eller din foretrukne alternativ tekst editor.

2 Skriv "User-agent: Googlebot" på den første linjen i en ny tekstfil. Hvis du ønsker å blokkere alle søkemotor roboter fra å indeksere ditt nettsted, type "User-agent: *" i stedet. Trykk "Enter" for å gå til neste linje.

3 Type "Disallow: /" på den andre linjen i tekstfilen.

4 Lagre tekstfilen med navnet "robots.txt".

5 Koble deg til webserveren ved hjelp av en (FTP) program File Transfer Protocol og laste opp filen "robots.txt" til rotkatalogen på ditt nettsted. Rotkatalogen er vanligvis heter "public_html".

6 Åpne en nettleser og skriv inn "www.example.com/robots.txt", der "example.com" er nettstedets domenenavn. Du skal se tekstfilen du opprettet vises i nettleservinduet, bekrefter at Google ikke lenger vil gjennomgå eller indeksere ditt nettsted.

Hint

• Web krypende robot for Google adlyder instruksjonene i robots.txt, som gjør roboter for andre søkemotorer. Men noen roboter ignorere robots.txt. Derfor kan det fortsatt være mulig for noen roboter til å gjennomgå webområdet ditt, selv om robots.txt-filen inneholder linjen "User-agent:. *"