Indexierung, Sitemaps und Crawling

Du veröffentlichst ein neues Rezept, wartest drei Tage — und es taucht nicht bei Google auf. Keine Panik, das ist normal. Aber warum? Und wie findest du heraus, ob Google dein Rezept überhaupt kennt? Darum geht es in dieser Lektion.

Wir hatten letzte Woche eine Kundin, die 15 neue Rezepte veröffentlicht hat und sich gewundert hat, warum nur 8 davon nach einer Woche bei Google zu finden waren. Die Erklärung war simpel: Google hatte die anderen 7 zwar gefunden, aber noch nicht indexiert. Der Unterschied zwischen "gefunden" und "indexiert" ist einer der wichtigsten Begriffe, die du in der Search Console verstehen musst.

Was Indexierung bedeutet

Indexierung ist der Prozess, bei dem Google eine Seite in seinen Suchindex aufnimmt. Erst wenn eine Seite indexiert ist, kann sie in den Suchergebnissen erscheinen. Davor existiert sie für Google-Nutzer praktisch nicht.

Der Weg von der Veröffentlichung bis zum Suchergebnis hat drei Stufen:

Entdecken: Google findet die URL — über deine Sitemap, über einen internen Link oder über einen externen Link.

Crawlen: Google ruft die Seite ab und liest den Inhalt. Der Crawler schaut sich den HTML-Code an, folgt Links, liest die strukturierten Daten.

Indexieren: Google entscheidet, ob die Seite in den Index aufgenommen wird. Nicht jede gecrawlte Seite wird indexiert. Google wägt ab: Ist die Seite qualitativ gut genug? Gibt es schon eine ähnliche Seite im Index? Hat die Seite einen Mehrwert?

Bei einem Foodblog mit 200 Rezepten sind typischerweise 70-90 % der Seiten indexiert. Die restlichen 10-30 % sind oft Tag-Seiten, Archivseiten oder Seiten, die Google für Duplikate hält.

Der Bericht "Seiten": indexiert vs. nicht indexiert

In der linken Navigation findest du unter "Indexierung" den Bericht "Seiten". Hier siehst du auf einen Blick, wie viele deiner Seiten indexiert sind und wie viele nicht.

Der Bericht zeigt dir zwei Zahlen: indexierte Seiten (grün) und nicht indexierte Seiten (grau). Darunter findest du eine Tabelle mit den konkreten Gründen, warum Seiten nicht indexiert sind.

Typische Gründe für Nicht-Indexierung

Nicht jeder Grund ist ein Problem. Manche Seiten sollen gar nicht indexiert werden. Hier sind die häufigsten Gründe, die wir bei Foodblogs sehen — aufgeteilt in harmlos und handlungsbedürftig.

Kein Grund zur Sorge

"Durch noindex-Tag ausgeschlossen" — Du oder ein Plugin hat der Seite bewusst gesagt: "Google, nimm diese Seite nicht in den Index auf." Das ist korrekt für Tag-Archive, Autorenarchive oder Seiten, die du nicht in den Suchergebnissen haben willst. Dein SEO-Plugin (z.B. Yoast oder RankMath) setzt das oft automatisch für bestimmte Archivseiten.

"Durch robots.txt blockiert" — Deine robots.txt-Datei verhindert, dass Google bestimmte Bereiche crawlt. Bei WordPress betrifft das typischerweise den /wp-admin/-Bereich. Solange hier keine Rezeptseiten auftauchen, ist alles in Ordnung.

"Duplikat, von Nutzer nicht als kanonisch festgelegt" — Google hat zwei Seiten mit sehr ähnlichem Inhalt gefunden und zeigt nur eine davon an. Das passiert bei WordPress häufig mit Kategorie-Archiven und Tag-Seiten, die dieselben Rezepte auflisten.

"Seite mit Weiterleitung" — Die URL leitet auf eine andere Seite weiter (301-Redirect). Die Zielseite wird indexiert, die Quell-URL nicht. Das ist gewolltes Verhalten nach einer URL-Umstellung.

Handlungsbedarf

"Gecrawlt — zurzeit nicht indexiert" — Google hat die Seite besucht, sie aber (noch) nicht in den Index aufgenommen. Das kann bei neuen Seiten ein paar Tage dauern. Wenn es länger als 2-3 Wochen anhält, solltest du prüfen, ob die Seite genug einzigartigen Inhalt hat. Bei Foodblogs trifft das manchmal auf Rezepte zu, die sehr kurz sind oder deren Inhalt einem anderen Rezept auf dem Blog stark ähnelt.

"Entdeckt — zurzeit nicht indexiert" — Google kennt die URL, hat sie aber noch nicht einmal besucht. Das passiert bei großen Blogs, wenn Google die "Crawl-Kapazität" für deine Seite aufgebraucht hat. Eine gute interne Verlinkung und eine aktuelle Sitemap helfen hier.

"Serverfehler (5xx)" — Google konnte die Seite nicht abrufen, weil dein Server einen Fehler zurückgegeben hat. Das ist ein technisches Problem, das du mit deinem Hoster klären musst.

"Nicht gefunden (404)" — Die Seite existiert nicht mehr. Wenn das eine ehemalige Rezeptseite ist, richte eine Weiterleitung ein. Wenn es eine Seite ist, die nie existiert hat (z.B. durch fehlerhafte Links), kannst du den Fehler ignorieren.

Sitemap einreichen

Eine Sitemap ist eine XML-Datei, die Google eine Liste aller Seiten deines Blogs gibt, die indexiert werden sollen. Die meisten SEO-Plugins erstellen diese Datei automatisch. Bei Yoast findest du sie unter deinblog.de/sitemap_index.xml, bei RankMath unter deinblog.de/sitemap_index.xml.

Warum eine Sitemap einreichen?

Google findet deine Seiten auch ohne Sitemap — über Links. Aber eine Sitemap beschleunigt den Prozess. Google weiß sofort, welche Seiten existieren, statt sich mühsam durch deine Verlinkung zu hangeln. Bei einem Blog mit 200+ Rezepten macht das einen spürbaren Unterschied.

So reichst du die Sitemap ein

In der Search Console findest du links unter "Indexierung" den Punkt "Sitemaps". Dort gibst du die URL deiner Sitemap ein (z.B. sitemap_index.xml) und klickst auf "Senden". Das war's.

Nach dem Einreichen dauert es ein paar Stunden bis Tage, bis Google die Sitemap verarbeitet hat. Danach siehst du in der Übersicht den Status "Erfolgreich" und die Anzahl der erkannten URLs.

Was nach dem Einreichen passiert

Google liest die Sitemap regelmäßig neu. Wenn du ein neues Rezept veröffentlichst, wird es automatisch in die Sitemap aufgenommen (das macht dein SEO-Plugin). Bei der nächsten Aktualisierung merkt Google das und crawlt die neue Seite. Du musst die Sitemap nicht jedes Mal neu einreichen.

Was du prüfen solltest: Stimmt die Anzahl der URLs in der Sitemap ungefähr mit der Anzahl deiner veröffentlichten Beiträge und Seiten überein? Wenn du 200 Rezepte hast, aber die Sitemap nur 50 URLs enthält, stimmt etwas mit der Konfiguration nicht.

URL-Prüfung: Einzelne Seiten prüfen

Die URL-Prüfung ist dein Werkzeug für den Einzelfall. Du findest sie über die Suchleiste ganz oben in der Search Console oder über den Menüpunkt "URL-Prüfung" in der linken Navigation.

Gib die vollständige URL eines Rezepts ein und klick auf Enter. Die Search Console zeigt dir:

"URL ist auf Google" — Alles gut, die Seite ist indexiert und kann in den Suchergebnissen erscheinen.

"URL ist nicht auf Google" — Die Seite ist nicht indexiert. Darunter steht der Grund (z.B. "Gecrawlt — zurzeit nicht indexiert" oder "Durch noindex-Tag ausgeschlossen").

Wenn eine Seite nicht indexiert ist und du möchtest, dass Google sie aufnimmt, kannst du "Indexierung beantragen" klicken. Google stellt die URL dann in die Warteschlange. Das garantiert keine Indexierung — Google entscheidet immer noch selbst — aber es beschleunigt den Prozess. Pro Tag kannst du für etwa 10-12 URLs eine Indexierung beantragen.

Wann die URL-Prüfung sinnvoll ist: - Du hast ein neues Rezept veröffentlicht und willst, dass es schneller indexiert wird - Du hast ein bestehendes Rezept überarbeitet (neuer Titel, neue Bilder, aktualisierte Zutaten) und willst, dass Google die Änderungen sieht - Du willst prüfen, ob Google die strukturierten Daten deiner Rezeptseite korrekt liest

Die URL-Prüfung zeigt dir auch, wann Google die Seite zuletzt gecrawlt hat und welche Version des Inhalts Google gespeichert hat. Das hilft bei der Fehlersuche, wenn ein Rezept in den Suchergebnissen veraltet dargestellt wird.

Praxisaufgaben

Aufgabe 1: Deinen Indexierungsstatus prüfen

Öffne den Bericht "Seiten" unter "Indexierung". Notiere: Wie viele Seiten sind indexiert, wie viele nicht? Klicke auf die häufigsten Nicht-Indexierungsgründe und prüfe, ob echte Rezeptseiten betroffen sind. Wenn ja, ist das ein Zeichen, dass du handeln solltest.

Aufgabe 2: Sitemap prüfen oder einreichen

Geh auf "Sitemaps" in der Search Console. Ist dort bereits eine Sitemap eingetragen? Wenn ja: Stimmt die Anzahl der erkannten URLs mit deiner Erwartung überein? Wenn nein: Reiche jetzt deine Sitemap ein (URL findest du in den Einstellungen deines SEO-Plugins).

Aufgabe 3: Ein neues Rezept zur Indexierung anmelden

Hast du kürzlich ein neues Rezept veröffentlicht? Gib die URL in die URL-Prüfung ein. Wenn die Seite noch nicht indexiert ist, klicke auf "Indexierung beantragen". Prüfe nach 2-3 Tagen erneut, ob sich der Status geändert hat.

Weiterführende Ressourcen

• Google Search Central: Indexierungsberichtsupport.google.com/webmasters/answer/7440203 Die offizielle Dokumentation zum Seiten-Bericht mit Erklärungen zu allen Indexierungsstatus-Meldungen.

• Google Search Central: Sitemapsdevelopers.google.com/search/docs/crawling-indexing/sitemaps/overview Alles über Sitemaps: Format, Einreichung und Best Practices.

• Google Search Central: URL-Prüfungsupport.google.com/webmasters/answer/9012289 Erklärt die Ergebnisse der URL-Prüfung und was die einzelnen Status-Meldungen bedeuten.