Robots.txt

Robots.txt er en tekstfil, hvor man kan angive, hvilke sider eller mapper en spider må eller ikke må indeksere. Alle store og seriøse søgemaskiner følger reglerne man angiver i sin robots.txt-fil. Robots.txt-filen for et domæne skal ligge under ”http://www.domæne.dk/robots.txt”.