Hva er edderkopper & Web Roboter?

Edderkopper og Web roboter - forkortelse for "Web robot" - er dataprogrammer som utfører rutineoppgaver, som for eksempel elektroniske søk, med lite eller ingen menneskelig inngripen. Programmene streife, eller "gjennomgå", fra side til side på nettet på en organisert måte, indeksering og kategorisere innholdet de finner.

Søkemotorer

Søkemotorer, slik Google og Yahoo !, bruke en klynge av edderkopper som opererer parallelt for å skape et øyeblikksbilde av webinnhold til enhver tid. En edderkopp starter på en webside, kopierer innholdet i en database og indekser dem. Det følger da hver kobling på siden og kopier og indekserer innholdet i destinasjonssiden for hver kobling. Dermed edderkopper opprette en lokal indeks som søkemotor kan søke raskt etter de mest hensiktsmessige resultater når en bruker sender en spørring.

online Shopping

En spesiell type Web bot, kjent som en shopbot, eller shopping robot, kan brukes til å sjekke priser med mange forhandlere på nettet og så hjelpe forbrukerne å finne den beste prisen for et bestemt element. Forhandlere enten betale per klikk - det vil si hver gang en besøkende klikker seg til deres hjemmeside - eller en liten prosentandel av pengene som brukes av den besøkende, for å bli inkludert i shopbot resultater. Shopbot resultatene er likevel vanligvis presenteres rettferdig, uten fordommer, og ikke legge noe til prisen de besøkende betaler.

andre programmer

Edderkopper og Web roboter kan brukes til å generere statistikk som gjør at innholdet på nettet for å bli bedre forstått, å validere strukturen i enkelte nettsider - inkludert lenker til andre sider - og for å samle spesifikk informasjon. Denne informasjonen inkluderer kontaktinformasjon og, spesielt, e-postadresser, som ondsinnede edderkopper og web roboter høster for det formål å generere Internet søppelpost eller spam.

atferds~~POS=TRUNC

Spider og web roboter kan søke millioner av websider svært raskt, men selv en klynge av edderkopper eller Web roboter kan ikke søke på hele nettet raskt nok. Edderkopper og web roboter bruker derfor atferdsmessige retningslinjer, definert av sine skapere, for å søke selektivt for webinnhold mest passende til deres behov. Nettstedet eiere kan oppmuntre edderkopper og web roboter for å søke sine nettsider ved å inkludere Hypertext Markup Language (HTML) koder som beskriver innholdet, eller hindre dem ved å inkludere en fil som heter "robot.txt", som forteller programvaren ikke å krype på siden .