Vad är robots.txt?
Robots.txt är en textfil som är kopplad till din domän. Filen ligger i rotkatalogen och använder Robots Exclusion Standard, ett protokoll med ett antal kommandon för att ange behörighet till olika delar av domänen för olika typer av sökrobotar (t.ex. Googlebot, Bingbot).
Man kan använda robots.txt för att hindra sökmotorer från att indexera delar av en webbplats som inte ska ha synlighet i söket även fast en besökare kan använda dessa sidor på sajten.
Sökspindlar/sökrobotar har inget krav på att följa de kommandon som är listade i robots.txt, men generellt sett så följs de flesta kommandon.
Robots.txt exempel
Robots.txt för denna webbplats, med vanliga kommandon för en WordPress-sajt, kan läsas på perpettersson.nu/robots.txt
En lång och ganska specifik robots.txt kan läsas på google.se/robots.txt
NFL har även lagt in förklaringar till respektive kommando, som är till för webbplatsägare som hanterar textfilen nfl.com/robots.txt
Exempel på robots.txt kommandon
Kommandot gäller alla sökrobotar (User-agent), hindra ingenting (Disallow):
User-agent: * Disallow:
Kommandot gäller alla sökrobotar, hindra en indexering av hela webbplatsen:
User-agent: * Disallow: /
Kommandot gäller Googlebot, hindra indexering av sidan private.htm och hela mappen /cgi-bin/ utom filen /cgi-bin/index.txt:
User-agent: Googlebot Allow: /cgi-bin/index.txt Disallow: /cgi-bin/ Disallow: /private/private.htm
Som vanligt kan du läsa och lära dig mer om robots.txt hos Google.
Nu har du läst klart!
|