Hvordan lage min egen hjemmeside Robot

Nettstedet roboter er tekstfiler som varsler søkemotorer på filene på ditt nettsted som du ikke ønsker gjennomgått. De brukes til å hindre søkemotorer i å gjennomsøke og indeksere sider som du ikke ønsker å bli indeksert i søkemotoren søkeresultater. Ved å gjøre det, de direkte crawlere unna mindre viktige sider og til viktigere de som du vil skal vises i søkeresultatene. Opprette et nettsted robot er ganske enkel og krever bare et enkelt tekstbehandlingsprogram.

Bruksanvisning

1 Åpne Notisblokk og skriv følgende for å tillate alle filer som skal gjennomgås:

Bruker agent: *
forby:

2 Skriv inn følgende for å tillate alle filer unntatt bildefilene skal gjennomgås:

Bruker agent: *
Disallow: / images /

3 Skriv inn følgende for å tillate alle filer unntatt statistikken filer som skal gjennomgås:

Bruker agent: *
Disallow: / stats /

4 Skriv inn følgende for å la alle filene bortsett fra en bestemt fil som skal gjennomgås:

Bruker agent: *
Forby: (Path of file) f.eks / images / bilde

5 Skriv inn følgende for å forby en viss gjennomgang fra å gjennomgå webområdet ditt:

User-agent: (Navn på crawler)
Disallow: /

6 Lagre filen som tekstfil med tittelen "roboter", og laste det opp til rotkatalogen på web hosting kontrollpanelet.

Hint

• Kombiner de faktorene ovenfor for å holde søkeroboter fra å gjennomgå flere nettstedet kataloger.
• Noen web-vertene automatisk generere en robot for nettstedet ditt, så dobbeltsjekke før du oppretter din egen, så du kan være i stand til å bare redigere allerede generert en.