Hva er en bot edderkopp?

En bot edderkopp er et automatisert dataprogram - bot er forkortelse for "robot" - som har tilgang til offentlig tilgjengelige sider på nettet, henter sitt innhold og kataloger det. Bot edderkopper følger også alle eksterne linker eller hyperlenker - ord, uttrykk og bilder der brukere kan klikke for å navigere fra side til side - på en side og katalogisere innholdet de finner.

Hvordan Bot edderkopper Arbeid

En bot edderkopp vanligvis starter med en enkel, velkjent webadresse, ellers kjent som en Universal Resource Locator (URL). Den bot edderkopp laster ned innhold fra websiden tilknyttet den adressen og kopierer den inn i en database. Eventuelle eksterne lenker på siden er lagt til en liste, kjent som URL Frontier, som bot edderkoppen bruker til å laste ned og kopiere innhold fra destinasjonen eller destinasjonssiden for hver kobling. Selvfølgelig, de fleste nettsider inneholder linker, så bot edderkopper kan begynne å søke, eller "krypende," nesten hvor som helst på nettet.

Søkemotorer

Søkemotorer som Google, Yahoo og mange andre, bruker en klynge av bot edderkopper, som opererer i parallell, for å skape et øyeblikksbilde av Web på en jevnlig basis. Målet er å skape en lokal katalog, eller indeks, av websider som søkemotor kan søke etter de gjeldende resultatene når en bruker skriver i en spørring. Et sett med adferdsreglene, definert av skaperen av bot edderkopper, bestemmer hvilke websider som blir besøkt og hvor ofte. En søkemotor må imidlertid opprettholde en up-to-date katalog hvis den skal beholde sin pålitelighet og troverdighet.

selektivitet

Nettet består av millioner av sider, så selv en klynge av edderkopper ikke kan forventes å laste ned hele Web før sidene er lagt til, endret eller slettet. Bot edderkopper må derfor prioritere sidene de laster ned og kopierer, ofte i forhold til en forhåndsdefinert tema, eller en liste over emner, eller ved å laste ned sider med statisk tekst - skrevet i Hypertext Markup Language (HTML) - og overser alle andre typer innhold.

andre programmer

Bot edderkopper er ikke bare brukes av søkemotorer. De kan brukes av andre programmer for å validere strukturen på websider, inkludert hyperkoblinger, eller for å generere statistikk som lar webinnhold å bli bedre forstått. Bot edderkopper kan også brukes til å samle spesifikk informasjon, inkludert e-postadresser og kontaktinformasjon, en funksjon som ofte utnyttet av opphavs Internet søppelpost eller spam.