robots.txt hilft Suchmaschinen

Ein Standard hilft hier: robots.txt nennt sich die Datei im Web, die den Suchmaschinen hilfreiche Informationen liefern kann. Nicht alle Suchmaschinen halten sich an diese Vorgaben, wenn sie es aber regelkonform tun, profitieren sie von zusätzlichen Hilfestellungen für den Crawler. Und Sie profitieren von mehr Möglichkeiten in der Arbeit mit der Suchmaschine. Die großen Engines wie Google oder Bing sind hier bestens vorbereitet!

robots.txt wo abspeichern?

Der erste Schritt ist das Anlegen einer eigenen robots.txt-Datei. Diese ist eine simple Textdatei, die im Root-Verzeichnis einer Website zu finden sein muss. Suchmaschinen rufen also die Website-Domain mit der Erweiterung '/robots.txt' auf, um sie abzuholen. Wenn Sie unter www.ihrdomainname.com/robots.txt auf die Inhalte stoßen, dann haben Sie den richtigen Speicherort für die Datei gefunden.

Nun geht es also an den Inhalt der Datei. Doch Vorsicht: Sie sind mit einer Robots.txt in der Lage, Suchmaschinen auch komplett auszusperren. Sehen Sie sich die Webmaster-Tools von Bing und Google an, um deren Sicht auf die robots.txt abzutesten und mit Ihren Wünschen zu vergleichen.

Inhalt der Robots.txt

Der Aufbau der Textdatei ist einfach: Jede Zeile beinhaltet einen Befehl, einzelne Zeilen können mit '#' auch als Kommentare ausgeklammert werden. Bereiche definieren wiederum, für welche Suchmaschine man nachfolgende Befehle vorsieht.



Die Bereiche legt man am Besten vorher strukturiert an. Wenn Sie etwa einen Bereich speziell für Google einrichten wollen und einen für den Rest, dann stellen Sie Google zuerst in die Datei und dann den allgemeinen Teil (manche Suchmaschinen glauben, sobald sie auf den allgemeinen Teil treffen, dass alles Nachfolgende für sie gültig ist).

Ein Bereich startet mit 'User-agent: ' gefolgt von dem Namen, den ein Crawler selbst bei seiner Arbeit als User-Agent-Kennung vorsieht. Google nennt sich 'googlebot' und wird demnach mit 'User-agent: googlebot' angesprochen. Der Abschnitt für alle Suchmaschinen lautet 'User-agent: *'

Typischerweise wird die robots.txt für das Ausschließen einzelner Seiten vom Crawling genutzt. Wenn Sie der Suchmaschine bestimmte Bereiche vorenthalten wollen, so hilft der 'Disallow: '- Eintrag. Mit einer Zeile 'Disallow: /logs/' verhindern Sie den Zugriff auf die Logfiles durch Suchmaschinen (bzw.: Sie verhindern das nicht, aber gute Suchmaschinen entsprechen Ihrem Wunsch, diese Dateien nicht zu öffnen).

Manche Suchmaschinen erlauben auch 'Wildcards' in den Disallow-Einträgen. So könnte ein 'Disallow: /test*.pdf' sowohl die test1.pdf als auch die test27.pdf vom Crawling ausschließen. Da immer von vorne gelesen wird, ist ein 'Disallow: /test' auch für all diese und jene Dateien und Verzeichnisse gültig, die mit Test beginnen. Etwas mehr Eingriffsmöglichkeiten bietet dann der '$'-Abschluss, denn er definiert das Ende. Wer mit 'Disallow: /test*.pdf$' das '.pdf' nur am Ende der URL filtert, kann feiner steuern, was die Suchmaschine abrufen darf. Google unterstützt all diese Schreibweisen.

Weitere Möglichkeiten, die robots.txt zu nutzen, sind vielfältig wie die möglichen Befehle der Suchmaschinen. So etwa kann man den Traffic der Crawler drosseln, wenn man ihnen zu schnellen Abruf verbietet. Ein 'Crawl-Delay: 30' gibt 30 Sekunden Pause zwischen zwei Seitenabrufen vor.

In einer robots.txt kann man den Suchmaschinen aber noch viele weitere Informationen mitgeben. Durchgesetzt hat sich etwa das Übermitteln von Sitemaps mit Links zu den zu crawlenden Seiten: 'Sitemap: ' folgt ein Link auf eine Sitemap-Indexdatei im XML-Format, die dann die Links zu den einzelnen Sitemaps der Website bietet (die Links unterhalb zeigen mehr dazu).

Beispiel einer robots.txt

Wie sieht nun eine gültige robots.txt aus? Nehmen wir eine Website wie 'www.beispiel.at' und definieren wir für Google und die Allgemeinheit ein paar Dinge, dann könnte das so aussehen:

User-agent: Googlebot 
Disallow: /files/*.pdf
Crawl-Delay: 15

User-agent: *
Disallow: /logs/
Disallow: /tests/

Sitemap: http://www.beispiel.at/index.xml