Hva er edderkopper og hvorfor er de ute på nettstedet mitt?

En Web edderkopp er et program som gjennomsøker Internett på en bestemt, meningsfull måte. Web edderkopper blir brukt av søkemotorer som Google, Yahoo og mange andre til å hente og indeksere innhold. Men de kan også brukes til å samle informasjon - inkludert e-postadresser - arkiv innhold og generere statistikk.

Søkemotorer

Formålet med søkemotor Web edderkopper er å gjøre søk på Internett så rask og effektiv som mulig. Web edderkopper få tilgang til offentlig tilgjengelige nettsteder, kopiere innholdet i en database og indeksere den på en jevnlig basis. Dette betyr at når du skriver inn et søk i en søkemotor kan det raskt søke på lokale indeksen og returnerer resultatene som er mest aktuelt for søket ditt. Søkemotor Web edderkopper bruke et sett av atferdsreglene for å bestemme hvor ofte nettsteder som besøkes og hvilke websider kopieres inn i databasen.

inkludering

Hvis du ønsker å heve profilen, eller synlighet, av ditt nettsted på internett, kan du registrere den med en søkemotor. Du kan også bruke Hypertext Markup Language (HTML) tags, kjent som metakoder, på toppen av hver webside for å beskrive innholdet og for å gi søkeord - et lite sett av ord som formidler faget av innholdet - til en web edderkopp. Denne informasjonen bestemmer hvordan innholdet blir indeksert i søkemotoren databasen.

Utelukkelse

Kopiering av nettstedet innhold av Web edderkopper er ikke ansett som et brudd på opphavsretten i USA, men likevel, kan du ønsker å forhindre at nettstedet blir gjennomsøkt. For å gjøre dette, kan du legge til en robot utestenging protokollen - typisk i en fil som heter "robot.txt» - til en webside. En utelukkelse robot protokoll viser til en Web-edderkopp som en side er uegnet for gjennomgang eller rett og slett at eieren ikke ønsker det skal gjennomgås. Vær advart, men at det ikke er noe juridisk bindende om eksklusjons robot protokoller, og noen web edderkopper er programmert til å ignorere dem helt.

Andre typer edderkopper

Andre, ikke-tradisjonelle typer Web edderkopper kan brukes til å ta et øyeblikksbilde av innholdet av Internett til enhver tid, eller for å generere statistikk som gjør at innholdet å bli forstått. På samme måte kan noen web edderkopper brukes til å sjekke gyldigheten av HTML og hyperkoblinger - ord, setninger eller bilder som besøkende kan klikke - på en webside. Dessverre, kan en annen type ondsinnet Web edderkopp brukes til å samle e-postadresser, som brukes til å generere uønsket, eller spam, e-postmeldinger.