SEO

Crawling, Indexierung, Ranking: So findet und bewertet Google Ihre Website

Das Wichtigste in Kürze
  • Crawling, Indexierung und Ranking bleiben das Fundament der Suche, auch für AI Overviews und den KI-Modus. Google sagt: Optimierung für die KI-Suche ist weiterhin SEO.
  • Googlebot verarbeitet von einer HTML-Datei nur die ersten 2 MB. Wichtige Inhalte, Canonicals und strukturierte Daten gehören deshalb weit nach oben.
  • Der robots.txt-Eintrag Google-Extended regelt das Training von Gemini, nicht die Aufnahme in die Google-Suche. Bei OpenAI sind Trainings- und Such-Crawler getrennt steuerbar.
  • Inhalte, die erst per JavaScript im Browser entstehen, sind ein Risiko. Server-seitig ausgelieferte Seiten sieht jeder Crawler vollständig.

Suchmaschinen sind längst keine reinen Verzeichnisse mehr. Google zeigt mit AI Overviews und dem KI-Modus fertige Antworten, ChatGPT und Perplexity beantworten Fragen mit Empfehlungen und Quellen. Viele fragen sich deshalb, ob die Grundlagen der Suchmaschinenoptimierung noch gelten.

Sie gelten. Google sagt in seinem Leitfaden zur KI-Suche ausdrücklich, dass Optimierung für die generative Suche weiterhin SEO ist. Auch eine KI-Antwort kann nur zitieren, was zuvor gecrawlt, indexiert und als vertrauenswürdig bewertet wurde. Dieser Guide zeigt, wie die drei Schritte funktionieren, wie Sie KI-Crawler steuern und worauf es für die KI-Suche ankommt.

Crawling ist die Voraussetzung für jede Sichtbarkeit

Beim Crawling rufen Programme wie der Googlebot Seiten ab, um Inhalte zu finden. Google crawlt dabei nicht alles, was es finden kann. Die Ressourcen sind begrenzt, und eine Website muss es dem Crawler leicht machen: mit schnellen Antworten, klaren Strukturen und wenig überflüssigen URLs.

So arbeitet der Googlebot

Der Googlebot ist ein weltweit verteiltes System, das Seiten wie ein Browser abruft. Weil Google die mobile Version der meisten Websites indexiert, kommen die meisten Anfragen vom Googlebot für Smartphones.

Der Ablauf in drei Schritten:

  • Finden: Google entdeckt URLs über Links, Sitemaps und Einreichungen in der Search Console.
  • Einreihen: Gefundene URLs landen in einer Warteschlange.
  • Planen: Ein Planungssystem entscheidet, wann welche URL abgerufen wird, abhängig vom Crawl-Budget.

Dabei verarbeitet der Googlebot von einer HTML-Datei nur die ersten 2 MB (unkomprimiert), von PDF-Dateien die ersten 64 MB. Was danach kommt, wird nicht indexiert. Wichtige Inhalte, Canonical-Angaben und strukturierte Daten gehören deshalb weit nach oben in den Code.

Das Crawl-Budget entscheidet bei großen Websites über die Indexierung

Für kleine Websites spielt das Crawl-Budget selten eine Rolle. Für große Onlineshops und Nachrichtenportale ist es entscheidend. Es ergibt sich aus zwei Faktoren.

Crawl-Kapazität: Wie viel verkraftet der Server?

  • Sie hängt vom Zustand des Servers ab.
  • Schnelle Antwortzeiten führen zu mehr Crawling.
  • Serverfehler (5xx) führen dazu, dass Google das Crawling sofort drosselt.

Crawl-Bedarf: Wie viel will Google crawlen?

  • Beliebtheit: Häufig verlinkte Seiten werden öfter abgerufen.
  • Aktualität: Seiten, die sich häufig ändern, etwa eine Nachrichten-Startseite, besucht Google öfter als statische Seiten wie das Impressum.

Jede URL, die keinen Wert hat, verbraucht Budget, das wichtigen Seiten fehlt:

Faktor Mechanismus Auswirkung
Filternavigation Filter für Farbe, Größe und Preis erzeugen nahezu unbegrenzt viele URL-Kombinationen. Crawler verfangen sich und rufen Millionen gleichartiger Seiten ab.
Soft-404-Fehler Die Seite zeigt „Nicht gefunden“, liefert aber Status 200 (OK). Google verschwendet Abrufe auf Fehlerseiten.
Doppelte Inhalte Gleicher Inhalt unter verschiedenen URLs, etwa durch Tracking-Parameter. Weniger Kapazität für einzigartige Inhalte.
Inhalte geringer Qualität Massenhaft erzeugte Texte oder dünne Seiten. Google kann die Website insgesamt seltener besuchen.

Wie eine Sitemap Google bei der Auswahl hilft, beschreiben wir im Beitrag zur XML-Sitemap im Zeitalter der KI-Suche.

Mit der robots.txt steuern Sie Suchmaschinen und KI-Crawler

Die robots.txt ist die Hausordnung für Crawler. Sie sperrt nichts technisch ab wie eine Firewall, aber seriöse Crawler halten sich an ihre Anweisungen. Wichtig: Eine Sperre in der robots.txt verhindert das Crawling, nicht die Indexierung. Wer eine Seite aus dem Index heraushalten will, setzt ein noindex und lässt die Seite crawlbar.

Für KI-Crawler entscheiden Sie nach Ihrem Geschäftsmodell

Neben Suchmaschinen rufen KI-Anbieter Websites ab, für das Training ihrer Modelle und für die Suche in ihren Assistenten. Die großen Anbieter trennen diese Zwecke inzwischen:

  • OpenAI: GPTBot sammelt Trainingsdaten, OAI-SearchBot findet Quellen für die Suche in ChatGPT, ChatGPT-User ruft Seiten ab, wenn ein Nutzer im Gespräch danach fragt.
  • Anthropic: ClaudeBot für das Training, eigene Agenten für Suche und Abrufe durch Nutzer.
  • Google: Der robots.txt-Eintrag Google-Extended regelt, ob Inhalte für das Training künftiger Gemini-Modelle und für die Grundierung von Antworten in Gemini und Vertex AI genutzt werden. Auf die Aufnahme in die Google-Suche und das Ranking hat es laut Google keinen Einfluss. Ob Ihre Seiten in AI Overviews und im KI-Modus erscheinen, steuern Sie über den Googlebot, Snippet-Einstellungen wie nosnippet und eine eigene Einstellung in der Search Console. Wer sich dort abmeldet, erhält aus diesen Funktionen keine Impressionen und keinen Traffic mehr.

Die Abwägung hängt vom Geschäftsmodell ab:

Art der Website Empfehlung Begründung
Onlineshops und B2B-Anbieter Such-Crawler zulassen Produkte und Marke sollen in KI-Antworten genannt und empfohlen werden.
Verlage und Nachrichtenseiten Abwägen Inhalte sind das Kapital. Trainings-Crawler zu sperren, kann die Verhandlungsposition für Lizenzen stärken, kostet aber Sichtbarkeit, wenn auch Such-Crawler betroffen sind.
Bezahlinhalte Trainings-Crawler sperren Inhalte, für die Kunden bezahlen, sollen nicht frei über KI-Antworten verfügbar werden.

Prüfen Sie bei jeder Sperre, welchen Zweck der Crawler hat. Wer den Such-Crawler eines Anbieters aussperrt, verschwindet aus dessen Antworten.

HTTP-Statuscodes sagen Google, wie es mit einer URL umgehen soll

Jede Antwort des Servers enthält einen Statuscode. Der HTTP-Statuscode zeigt Google, ob eine Seite erreichbar ist, weiterleitet oder nicht mehr existiert.

  • 200 (OK): Die Seite ist erreichbar und kann indexiert werden.
  • 301 (Moved Permanently): Der wichtigste Code für Umzüge. Google überträgt die Signale der alten URL auf die neue.
  • 304 (Not Modified): Der Inhalt hat sich seit dem letzten Abruf nicht geändert. Das spart Crawling-Kapazität.
  • 404 (Not Found) und 410 (Gone): Der Inhalt existiert nicht mehr. Google behandelt beide Codes praktisch gleich und entfernt die URL nach und nach aus dem Index. 404-Fehler sind ein normaler Teil des Webs, solange keine wichtigen Links ins Leere führen.
  • 5xx (Serverfehler): Kritisch. Google drosselt das Crawling, und halten die Fehler an, fallen Seiten aus dem Index.

Server-seitig ausgelieferte Inhalte sieht jeder Crawler

Viele Websites bauen ihre Inhalte mit JavaScript-Frameworks wie React, Vue oder Angular. Google muss solche Seiten wie ein Browser ausführen (rendern), um den Inhalt zu sehen. Das kostet Zeit und kann scheitern.

Die Architektur entscheidet über die Indexierbarkeit

Client-Side Rendering (CSR): Der Browser oder Crawler baut die Seite erst zusammen.

  • Risiko: Scheitert das Rendering oder dauert es zu lange, sieht der Crawler eine leere Seite. Viele KI-Crawler führen gar kein JavaScript aus und sehen solche Inhalte nie.

Server-Side Rendering (SSR) und statische Seiten: Der Server liefert fertiges HTML.

  • Vorteil: Jeder Crawler erhält sofort den vollständigen Inhalt. Für Sichtbarkeit in Suche und KI-Antworten ist das die sicherste Wahl.

Hydration: Der Server liefert sichtbares HTML, JavaScript macht es danach interaktiv.

  • Achtung: Dauert die Hydration zu lange, ist die Seite zwar sichtbar, reagiert aber nicht. Das verschlechtert die Core Web Vitals, vor allem den Wert INP.

Warum das für die KI-Suche besonders wichtig ist, zeigen wir im Beitrag zum JavaScript-Problem der KI-Crawler.

Google indexiert nur, was es für wertvoll hält

Google nimmt nicht alles in den Index auf, was es crawlt. Die Indexierung ist eine Auswahl nach Qualität und Nutzen.

Zwei Meldungen in der Search Console zeigen, wo Sie ansetzen

Im Bericht „Seitenindexierung“ sorgen zwei Gründe oft für Verwirrung:

  • „Gecrawlt – zurzeit nicht indexiert“: Google hat die Seite abgerufen, aber (noch) nicht aufgenommen, häufig weil sie zu dünn ist oder anderen Seiten zu sehr ähnelt. Die Lösung ist meist, den Inhalt zu verbessern oder Duplikate zusammenzuführen.
  • „Gefunden – zurzeit nicht indexiert“: Google kennt die URL, hat sie aber noch nicht abgerufen, oft weil die Crawling-Kapazität nicht reicht. Die Lösung sind schnellere Server, weniger überflüssige URLs und eine bessere interne Verlinkung.

E-E-A-T bildet das Fundament der Qualitätsbewertung

Besonders bei Themen zu Gesundheit, Finanzen und Sicherheit (YMYL) achtet Google darauf, ob Inhalte Erfahrung, Fachwissen, Autorität und Vertrauenswürdigkeit zeigen:

  • Erfahrung: Belege für echte Nutzung, etwa eigene Fotos, eigene Tests, eigene Zahlen.
  • Fachwissen: Erkennbare Autoren mit Qualifikation und Profil.
  • Autorität: Links und Erwähnungen auf anerkannten Websites.
  • Vertrauenswürdigkeit: Sicherheit, Transparenz, erreichbarer Kundenservice.

In der KI-Suche gewinnen Inhalte, die etwas Eigenes beitragen

AI Overviews und der KI-Modus bauen laut Google auf denselben Ranking- und Qualitätssystemen auf wie die klassische Suche. Voraussetzung ist, dass eine Seite indexiert ist und mit Snippet erscheinen darf. Spezielle strukturierte Daten, eine llms.txt-Datei oder Texte, die in kleine Stücke zerlegt sind, braucht es laut Google nicht.

Was zählt, ist eigener Inhalt:

  • Eigene Perspektive: Google empfiehlt Inhalte mit eigenem Standpunkt und Erfahrung aus erster Hand. Eine Zusammenfassung dessen, was bereits überall steht, gibt einem System keinen Grund, ausgerechnet Sie zu zitieren.
  • Klare Antworten: Beantworten Sie die Frage eines Abschnitts früh und begründen Sie sie dann. Das hilft Lesern und Systemen gleichermaßen.
  • Eindeutige Marke: Strukturierte Daten bleiben für Rich Results sinnvoll und helfen Google, Ihr Unternehmen eindeutig zuzuordnen.

Wie Sprachmodelle über Google hinaus ihre Quellen auswählen, beschreiben wir im Beitrag zur Generative Engine Optimization.

Beispiel: Organization-Markup (JSON-LD)

Das Markup hilft Google, Name, Website und Profile Ihres Unternehmens korrekt zuzuordnen:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Organization",
  "name": "Beispiel GmbH",
  "url": "https://www.beispiel.de",
  "logo": "https://www.beispiel.de/logo.png",
  "sameAs": [
    "https://www.linkedin.com/company/beispiel",
    "https://www.youtube.com/@beispiel"
  ]
}
</script>

Fazit: Saubere Technik und eigene Inhalte machen Sie in jeder Suche sichtbar

Erfolg in der Suche beruht auf drei Grundlagen, die sich gegenseitig brauchen:

  • Technik: Schnelle Server, server-seitig ausgelieferte Inhalte, gute Core Web Vitals und ein Crawl-Budget, das auf die wichtigen Seiten fließt.
  • Inhalt: Texte mit eigener Erfahrung und eigenen Daten, die etwas beitragen, was es anderswo nicht gibt.
  • Eindeutigkeit: Eine klar beschriebene Marke, saubere strukturierte Daten und eine bewusste Entscheidung, welche Crawler Ihre Inhalte nutzen dürfen.

Wer technische Hürden beseitigt und als vertrauenswürdige Quelle auftritt, bleibt sichtbar, in der klassischen Suche wie in den KI-Antworten. Wie wir Websites für beides aufbauen, zeigen wir auf unseren Seiten zu SEO und GEO.

Quellen
  1. What Is Googlebot · Google Search Central, aktualisiert 03.02.2026
  2. Google's common crawlers · Google
  3. Optimizing your website for generative AI features on Google Search · Google Search Central, aktualisiert 10.07.2026
Erstgespräch

Lassen Sie uns prüfen, wo Ihr Budget mehr bringt.

Ein persönliches Gespräch, in dem wir Ihre Ausgangslage gemeinsam einordnen.

Julia Bühler

Julia Bühler · Solution Manager

Ihre Anfrage geht direkt an mich. Danach wählen Sie gleich einen Termin.

Erstgespräch vereinbaren

Im ersten Gespräch ordnen wir ein, wo die größten Gewinnpotenziale in Ihrem Online-Marketing liegen.

Im nächsten Schritt wählen Sie Ihren Termin.

Fragen? Schreiben Sie uns.