Indizierungshindernisse

Manchmal kann es sinnvoll sein, eine Webseite von der Indizierung durch Suchmaschinen auszuschließen. Zum Beispiel gehen Agenturen häufig vor einem Relaunch so vor. Die neue Version ist bereits auf dem Server online, die alte wird aber noch aktiv genutzt. Da wäre es von Nachteil, wenn ein Besucher die neue Seite schon zu Gesicht bekäme.

Noindex-Tag

Also nutzen Agenturen den "noindex"-Befehl. Mit diesem Meta-Tag gibt man den Suchmaschinen den Befehl, die Seite nicht in den Index aufzunehmen. So lassen sich auch einzelne Unterseiten (z.B. das Impressum oder unwichtige Seiten wie die Kontakt-Seite) von einer Indizierung ausschließen.

In der Praxis kommt es jedoch gar nicht so selten vor, dass beim Launch der neuen Seite vergessen wird, diesen Meta-Tag zu entfernen. Dann wird die gesamte Webseite oder nur die markierten Unterseiten nicht in den Index aufgenommen und dementsprechend natürlich auch nicht gerankt. Insofern sollte auf jeden Fall geprüft werden, ob sich in den Meta-Tags irgendwo ein Noindex-Tag befindet.

Robots.txt

Eine ähnliche Funktion hat ein Ausschluss über die robots.txt-Datei. Diese Datei gibt es Suchmaschinenrobots (und anderen Programmen) Anweisungen, wie sie mit der Webseite umzugehen haben. So kann man ihnen z.B. den Zugriff auf bestimmte Seiten oder Verzeichnisse verbieten. Ob sie sich in der Praxis allerdings immer daran halten, ist nicht gesichert.

Durch technische Unkenntnis kann es allerdings passieren, dass man den Suchmaschinenrobots komplett den Zugang zur Webseite verwehrt. Mit der robots.txt-Datei sollten sich daher nur fachkundige Programmierer beschäftigen.

Die robots.txt-Datei in obigem Beispiel zeigt, dass den Suchmaschinenrobots alle Verzeichnisse offenstehen. Lediglich zwei Verzeichnisse (wp-admin und wp-includes) wurden gesperrt und sollten nicht gecrawled werden.