Hvordan gjenkjenne Web Spiders

Web edderkopper, også kjent som søkemotor edderkopper eller crawlers, er automatisert programvare som undersøker innholdet på nettsteder. Selskaper som Google og Yahoo! bruker web edderkopper til å analysere nettsider og deretter føre dem opp i sine søkemotorer i henhold til den informasjonen som finnes. Web edderkopper kan identifiseres ved administratorene på grunn av måten de besøker nettsteder. Mens menneskelige besøkende ofte bla gjennom nettstedet tilsynelatende tilfeldig, gjennomsøker et Web edderkopp sidene i detalj.

Bruksanvisning

1 Se på nettstedets serverlogger. Du må kanskje kontakte din hosting leverandør for å få tilgang. Hver server holder logger av besøkende til nettsteder det vert, og administratorer kan be om å få se disse loggene.

2 Undersøk den henvisende nettadresse kolonne av loggene, ser først på noen datoer som du tror en søkemotor edderkopp besøkt nettstedet ditt. De fleste menneskelige Web besøk kommer fra andre nettsteder. En Web edderkoppen har en blank henvisende nettadresse.

3 Undersøk kolonnen Aktivitet av besøk som inneholder en tom URL. Web edderkopper la også sitt preg på hvordan de blar ditt nettsted. Finn Aktivitet-kolonnen for besøket og du vil se at edderkoppen besøkt hver side på nettstedet ditt.