Hva er en søkemotor Bot?
En søkemotor bot er en automatisert program som brukes til å samle inn informasjon fra nettsteder på Internett. Søkemotoren deretter organiserer og registrerer informasjonen til bruk i sine søkeresultater. Mange bots "gjennomgå" Internett ved alle de store søkemotorene som til enhver tid.
alternative Names
Søkemotor roboter er også kjent som robotsøkeprogrammer, web edderkopper, web scutters og web roboter.
grunn~~POS=TRUNC funksjon
Bots lage kopier av alle besøkte sider. Søkemotoren så indekserer disse eksemplarene i sitt arkiv, noe som bidrar til raskere og mer nøyaktig søk.
politikk
En søkemotor bot er kontrollert av fire politikk: hvilke sider som skal gjennomsøkes, hvor ofte for å se etter endringer i en side, hvordan å gjennomgå sider uten å overbelaste sider 'servere, og hvordan å koordinere sine jobber med andre robotsøkeprogrammer. Disse kan ofte være styrt av regler som finnes i enkelte sider eller områdekart.
Crawl Method
Søkemotor roboter kontinuerlig gjennom internett ved å starte med en base liste over steder å besøke. De deretter identifisere hver hyperkobling på disse nettstedene, og legge disse koblingene til listen.
ulempene
En omfattende web crawl er egentlig umulig på grunn av Internetts stadig skiftende natur, utbredelsen av nettsteder som bruker funksjoner som Javascript eller Flash som ikke gir noen tekst å analysere, og eksistensen av web-sider som ikke er forbundet med noen annen side og dermed fortsatt umulig å oppdage.