Vad är robots.txt?

Robots.txt är en textfil som är kopplad till din domän. Filen ligger i rotkatalogen och använder Robots Exclusion Standard, ett protokoll med ett antal kommandon för att ange behörighet till olika delar av domänen för olika typer av sökrobotar (t.ex. Googlebot, Bingbot).

Man kan använda robots.txt för att hindra sökmotorer från att indexera delar av en webbplats som inte ska ha synlighet i söket även fast en besökare kan använda dessa sidor på sajten.

Sökspindlar/sökrobotar har inget krav på att följa de kommandon som är listade i robots.txt, men generellt sett så följs de flesta kommandon.

Robots.txt exempel

Robots.txt för denna webbplats, med vanliga kommandon för en WordPress-sajt, kan läsas på perpettersson.nu/robots.txt

En lång och ganska specifik robots.txt kan läsas på google.se/robots.txt

NFL har även lagt in förklaringar till respektive kommando, som är till för webbplatsägare som hanterar textfilen nfl.com/robots.txt

NFL robots.txt

Exempel på robots.txt kommandon

Kommandot gäller alla sökrobotar (User-agent), hindra ingenting (Disallow):

User-agent: *
Disallow:

Kommandot gäller alla sökrobotar, hindra en indexering av hela webbplatsen:

User-agent: *
Disallow: /

Kommandot gäller Googlebot, hindra indexering av sidan private.htm och hela mappen /cgi-bin/ utom filen /cgi-bin/index.txt:

User-agent: Googlebot
Allow: /cgi-bin/index.txt
Disallow: /cgi-bin/
Disallow: /private/private.htm

Som vanligt kan du läsa och lära dig mer om robots.txt hos Google.

Nu har du läst klart!