Hvor ofte Google Spider?

Som andre søkemotorer, Google samler sin database over innhold på Internett ved hjelp av et stykke programvare som kalles en "edderkopp". Edderkopper regelmessig "gjennomgå" Internett, følgende koblinger mellom sider og rapportering hva de finner til datamaskiner som kjører dem. På denne måten Google forblir up-to-date om plasseringene og innholdet i de utallige og stadig skiftende områder som utgjør Web. Googlebot er stadig kryp nettet, men det kan besøke forskjellige nettsteder med intervaller på mye forskjellig frekvens.

Googlebot

Googles edderkopp programvaren kalles «Googlebot", og er drevet av et stort sett med datamaskiner som stadig bruker programmet til å gjennomgå nettet, logge informasjon om områdene den finner og returnerer denne informasjonen til Googles servere. For å finne områder som skal gjennomsøkes, bruker Googlebot listen over nettsteder som allerede er i databasen, og sjekker disse nettstedene for lenker til andre nettsteder, som det raskt følger.

Hyppighet

Googlebot er alltid krypende på nettet, og er designet for å registrere endringer i allerede gjennomgåtte områder så raskt som mulig - vanligvis i løpet av få sekunder. Spesielle algoritmer bestemme hvor ofte Googlebot gjennomsøker et bestemt nettsted, ligner på Pagerank algoritmer som bestemmer et nettsted fremtredende i Googles søkeresultater. En side med mange andre sider å linke til den, eller en som endrer ofte, vil se mer hyppige besøk fra Googlebot.

Logging Googlebot Besøk

Nettstedet servere logge besøk fra Googlebot like de logger treff fra en annen klient, og spesielle programmer eksisterer spesielt for å overvåke Googlebot trafikk. Hvis du har en blogg eller nettside som kjører på WordPress rammeverk, for eksempel, kan du installere en plugin for å holde orden på hvor ofte Googlebot gjennomsøker nettstedet.

Blokkering Googlebot

Som andre edderkopper, er Googlebot programmert til å sjekke et nettsted server for en tekstfil kalt "robots.txt". Ved å endre innholdet i denne filen, kan du fortelle Googlebot å ignorere bestemte sider, og hindrer den fra å returnere informasjon om dem til Google; på denne måten kan du holde sider eller hele området, utenfor Googles liste med søkeresultater. Legg merke til at mens Googlebot - og alle respektable edderkopp programmer - adlyde slike restriksjoner, har en robots.txt-fil hindrer ikke edderkopper designet av mindre samvittighetsfull programmerere fra å gjennomgå noen steder de kan nå på nettverket.