robots.txt und Sitemap erklärt: Das Fundament für Google

robots.txt und Sitemap sind zwei einfache Textdateien, die aber grossen Einfluss darauf haben, wie Google deine Website crawlt und versteht. Beide gehören zu den Basis-Checks, die als erstes geprüft werden sollten.

Was macht robots.txt?

Diese Datei unter deiner-domain.ch/robots.txt sagt Suchmaschinen-Crawlern, welche Bereiche der Website sie besuchen dürfen und welche nicht.

Ein typisches Beispiel

• User-agent: *
• Allow: /
• Disallow: /admin/
• Disallow: /intern/
• Sitemap: https://deine-domain.ch/sitemap.xml

Das erlaubt Crawlern alles ausser dem Admin- und internen Bereich, und verweist gleichzeitig auf die Sitemap.

Der gefährlichste Fehler

"Disallow: /" ohne weitere Zeilen blockiert die komplette Website für alle Suchmaschinen. Das passiert manchmal versehentlich, wenn eine Entwicklungs-Einstellung live übernommen wird.

Was macht die Sitemap?

Die XML-Sitemap listet alle wichtigen Seiten deiner Website an einem Ort auf - inklusive letztem Änderungsdatum. Das hilft Google, neue oder geänderte Inhalte deutlich schneller zu finden, statt sich mühsam über Links durchzuklicken.

So spielen beide zusammen

robots.txt steuert, was gecrawlt werden darf. Die Sitemap zeigt, was gecrawlt werden soll. Ohne robots.txt-Sperre findet Google die Sitemap in der Regel automatisch - trotzdem lohnt sich der Verweis direkt in der robots.txt und die zusätzliche Einreichung in der Google Search Console.

Schnell selbst prüfen

Einfach deine-domain.ch/robots.txt und deine-domain.ch/sitemap.xml im Browser aufrufen. Kommt eine Fehlermeldung oder eine leere Seite, fehlt eine der beiden Dateien.