„Hoffentlich wisst ihr, dass man vor dem Upload einer Website immer alle Links auf ihre Richtigkeit überprüfen muss.“ Mit diesem Satz begann die ursprüngliche Fassung dieses Beitrags im Jahr 2007 – und empfahl dafür ein Freeware-Programm namens Xenu’s Link Sleuth, das Webseiten auch lokal auf kaputte Links prüfen konnte.
Das Werkzeug gibt es noch. Der Arbeitsablauf dahinter ist allerdings überholt – und zwar in einem grundlegenden Punkt.
Die Annahme von damals
Der Satz enthält eine Voraussetzung, die 2007 selbstverständlich war: Es gibt einen Zeitpunkt vor dem Upload, zu dem die fertige Seite vollständig auf dem eigenen Rechner liegt.
Das traf zu, solange Websites aus statischen HTML-Dateien bestanden, die per FTP hochgeladen wurden. Die Prüfung war eine einmalige Handlung vor der Veröffentlichung – deshalb auch der Hinweis, dass Xenu „auch lokal“ prüfen kann.
Diese Voraussetzung ist bei den meisten heutigen Websites nicht mehr gegeben. Seiten entstehen im Redaktionssystem, Inhalte werden laufend geändert, Verlinkungen kommen im Betrieb hinzu. Es gibt keinen Moment, in dem alles fertig ist – und damit auch keinen sinnvollen Zeitpunkt für eine einmalige Prüfung.
Warum tote Links heute schwerer wiegen
Der alte Beitrag begründete die Prüfung mit Sorgfalt. Inzwischen kommen zwei handfeste Gründe hinzu:
- Interne tote Links kosten Sichtbarkeit. Verweise, die ins Leere zeigen, verbrauchen das Crawling-Budget für Seiten, die es nicht gibt, und unterbrechen die Weitergabe von Linkkraft innerhalb der Seite.
- Externe tote Links altern lautlos. Ein Link, der bei der Veröffentlichung stimmte, kann drei Jahre später auf eine geparkte Domain oder eine fremde Seite zeigen. Das merkt niemand, weil es zum Zeitpunkt der Prüfung korrekt war.
Der zweite Punkt ist der eigentliche Bruch mit dem alten Ansatz: Ein Link kann nicht falsch angelegt worden sein und trotzdem kaputt sein. Dagegen hilft keine Prüfung vor dem Upload.
Wie man heute prüft
Fortlaufend statt einmalig
Die Prüfung gehört in einen regelmäßigen Turnus – bei kleineren Seiten vierteljährlich, bei größeren monatlich. Ein Crawler, der die Seite von der Startseite aus durchläuft und jeden gefundenen Verweis abruft, ist dafür weiterhin das richtige Werkzeug. Nur läuft er über die veröffentlichte Seite, nicht über eine lokale Kopie.
Die Search Console als Gegenprobe
Ein Bericht, den es 2007 nicht gab: Die Google Search Console meldet unter „Seiten“ alle URLs, die beim Crawlen einen Fehler geliefert haben – und nennt dazu die verweisenden Seiten. Der Vorteil gegenüber jedem Crawler: Sie erfasst auch Links von fremden Seiten auf nicht existierende Adressen der eigenen. Genau das sind die lohnendsten Funde, weil dahinter echte Verweise stehen, die derzeit verpuffen.
Ein einfacher eigener Test
Für einen schnellen Durchlauf über eine Liste bekannter Adressen reicht die Kommandozeile. Wichtig sind zwei Dinge: dem Server einen erkennbaren Namen nennen und Weiterleitungen mitverfolgen, statt sie als Fehler zu werten.
while read url; do
code=$(curl -sSL -o /dev/null -w "%{http_code}" -A "Linkpruefung" --max-time 15 "$url")
[ "$code" != "200" ] && echo "$code $url"
done < urls.txt
Das L in -sSL ist dabei entscheidend: Ohne diesen Schalter meldet jede eingerichtete Weiterleitung einen Code 301, und die Liste füllt sich mit Treffern, die gar kein Problem sind.
Wo eine Sitemap vorhanden ist, lässt sich die Adressliste direkt daraus gewinnen:
curl -s https://www.beispiel.de/sitemap.xml | grep -o '<loc>[^<]*' | sed 's/<loc>//' > urls.txt
Was mit den Funden geschieht
Hier liegt der zweite große Unterschied zu 2007. Damals war ein toter Link ein Fehler, den man korrigierte. Heute ist die Behandlung differenzierter, weil eine Adresse Verweise von außen tragen kann:
- Interner Link falsch geschrieben – korrigieren. Der einfache Fall.
- Seite wurde verschoben – eine dauerhafte Weiterleitung (301) von der alten auf die neue Adresse. Damit bleiben sowohl Besucher als auch bestehende Verweise erhalten.
- Seite ist ersatzlos entfallen – kein Umleiten auf die Startseite. Eine Weiterleitung auf ein unpassendes Ziel ist für den Besucher irritierend und wird von Suchmaschinen wie ein 404 behandelt. Besser ist eine 404-Seite, die weiterhilft: Suche, Übersicht, verwandte Inhalte.
- Externes Ziel ist verschwunden – ersetzen, wenn es eine gleichwertige Quelle gibt. Sonst den Link entfernen und die Aussage im Text so umstellen, dass sie ohne ihn trägt.
Ein Fehler, der oft übersehen wird
Manche Systeme liefern bei einer nicht existierenden Adresse eine Fehlerseite aus – mit dem Statuscode 200. Für den Besucher sieht das richtig aus, für jeden Crawler ist die Seite in Ordnung. Solche „weichen“ 404 tauchen in keiner Prüfliste auf und sammeln sich unbemerkt an. Der Test ist schnell gemacht:
curl -sS -o /dev/null -w "%{http_code}" https://www.beispiel.de/diese-seite-gibt-es-nicht
Kommt hier 200 statt 404, ist die Fehlerbehandlung selbst der Fehler.
Fazit
Die Empfehlung von 2007 war richtig und ist es geblieben: Links müssen geprüft werden, und ein Crawler ist dafür das Mittel der Wahl. Verändert hat sich der Zeitpunkt – aus einer einmaligen Kontrolle vor dem Hochladen ist eine wiederkehrende Aufgabe im laufenden Betrieb geworden.
Und der Umgang mit den Funden ist anspruchsvoller geworden. Eine Adresse einfach zu löschen, war 2007 unproblematisch. Heute kann daran ein Verweis hängen, den man besser umleitet als verfallen lässt.
Bei technischer Prüfung, Weiterleitungskonzepten und Suchmaschinenoptimierung unterstützen wir Sie als SEO-Agentur gerne.
Kommentare