Hvordan bruke robots.txt for å blokkere Subdomains

Som webmaster, møter du ganger når du ønsker å blokkere søkemotor tilgang fra nettstedet ditt for å hindre indeksering. Dette er ofte tilfellet hvis du har privat innhold eller likt innhold på to forskjellige domener. Normalt kan du laste opp en robots.txt-fil i rotkatalogen på domenet og angi søkemotor tilgang til alle underkataloger på domenet. Hvis du har et underdomene på nettstedet, men du må opprette en ny robots.txt-fil spesielt for underdomene og laste det opp til rotkatalogen på underdomenet.

Bruksanvisning

1 Start datamaskinen teksteditor og lim inn følgende kode i dokumentet:

User-agent: * Disallow: /

2 Lagre filen som en tekstfil (.txt) og gi den navnet "robots.txt".

3 Last opp filen til roten (øverste nivå) katalog av din underdomene med din foretrukne FTP-server. For eksempel, hvis din underdomene er subdomain.domain.com, så du bør være i stand til å få tilgang til robots.txt-filen på subdomain.domain.com/robots.txt.