Balou Tools

SEO · Schweregrad hoch

robots.txt blockiert wichtige Seiten oder Assets

robots.txt steuert Crawling, ist aber kein verlässliches Mittel zum Entfernen einer URL aus dem Index.

Typisches Symptom

Wichtige Seiten, CSS/JS-Assets oder ganze Verzeichnisse werden durch Disallow-Regeln für relevante Crawler gesperrt.

Auswirkung

Crawler können Inhalt oder Rendering nicht vollständig prüfen. Bereits bekannte blockierte URLs können trotzdem ohne Snippet im Index erscheinen.

Häufige Ursachen

  • Eine Staging-Regel wurde produktiv übernommen.
  • Disallow: / ist zu breit.
  • Wildcard- und Dollar-Semantik wurde falsch verstanden.
  • noindex und robots.txt werden verwechselt.

Diagnose in sinnvoller Reihenfolge

  1. Lies Regeln in der Reihenfolge und pro User-Agent-Gruppe.
  2. Teste konkrete wichtige URLs.
  3. Prüfe renderkritische Assets.
  4. Vergleiche robots-Regeln mit meta/X-Robots-Tag.

Behebung

  1. Entferne unbeabsichtigte Disallow-Regeln.
  2. Nutze noindex auf crawlbaren Seiten, wenn Indexierung verhindert werden soll.
  3. Blockiere keine Ressourcen, die für Rendering nötig sind.

Fix verifizieren

  • Teste repräsentative URLs mit passendem User Agent.
  • Prüfe Live-Rendering und Indexierungsstatus nach erneutem Crawl.

Primärquellen

Die Quellen definieren Protokoll oder Plattformverhalten. Die Diagnose- und Umsetzungshinweise sind eine eigenständige technische Einordnung von Balou Tools.