robots.txt: die Datei, mit der man sich selbst aussperrt

Ihre neue Website ist seit vier Wochen online, sie sieht gut aus, und trotzdem findet Google sie nicht. Kein Eintrag, keine Unterseite, nichts. In einem großen Teil dieser Fälle liegt die Ursache in einer Textdatei mit zwei Zeilen, die niemand je geöffnet hat: der robots.txt.

Diese Datei liegt auf fast jeder Website. Sie ist öffentlich, jeder kann sie ansehen, und sie enthält Anweisungen für Suchmaschinen: Welche Bereiche dürfen abgerufen werden, welche nicht. Solange sie stimmt, merkt man nie, dass es sie gibt. Steht die falsche Zeile darin, ist der Betrieb bei Google unsichtbar, ohne dass eine Fehlermeldung erscheint.

Dieser Artikel erklärt, was die Datei kann, was sie ausdrücklich nicht kann, welche Zeilen Sie brauchen und wie Sie in fünf Minuten prüfen, ob bei Ihnen alles in Ordnung ist.

Stand: September 2026

Das Wichtigste in Kürze

• Die robots.txt liegt immer im Wurzelverzeichnis und ist unter ihre-domain.de/robots.txt für jeden abrufbar.

• Sie steuert das Abrufen von Seiten, nicht das Erscheinen in den Suchergebnissen. Wer eine Seite aus dem Index halten will, braucht noindex.

• Der häufigste Schaden ist die Zeile Disallow: /, die aus der Testumgebung mit auf die fertige Website wandert und alles sperrt.

• Bei WordPress genügt ein vergessener Haken unter Einstellungen, Lesen, damit die Seite wochenlang nicht indexiert wird.

• Die Datei ist kein Zugriffsschutz: Was Sie dort sperren, verraten Sie damit aller Welt. Vertrauliches gehört hinter ein Passwort.

• Prüfen können Sie das kostenlos im robots.txt-Bericht der Google Search Console.

Was die robots.txt überhaupt ist

Suchmaschinen schicken Programme über das Netz, die Seite für Seite abrufen und den Verweisen darauf folgen. Diese Programme heißen Crawler. Bevor ein Crawler Ihre Website abruft, sieht er an einer festen Stelle nach, ob es Hausregeln gibt: unter ihre-domain.de/robots.txt.

Findet er dort eine Datei, hält er sich an das, was darin steht. Findet er keine, ruft er alles ab, was er über Verweise erreicht. Beide Fälle sind unproblematisch. Eine Website ohne robots.txt funktioniert bei Google einwandfrei, sie hat nur keine Ausnahmen definiert.

Wichtig ist der Rechtsstatus dieser Anweisungen: Sie sind eine Bitte, keine Sperre. Google, Bing und die übrigen großen Suchmaschinen halten sich daran. Ein Programm, das Inhalte abgreifen will, kann die Datei ignorieren, ohne dass etwas passiert.

Praxistipp: Rufen Sie ihre-domain.de/robots.txt einmal im Browser auf. Was Sie dort sehen, sieht auch jeder Wettbewerber.

Die vier Zeilen, die tatsächlich vorkommen

Der Aufbau ist schlicht. Jede Zeile besteht aus einem Schlüsselwort, einem Doppelpunkt und einem Wert. Blöcke beginnen mit der Angabe, für wen sie gelten.

Mehr braucht die überwiegende Zahl kleiner Websites nicht. Eine unauffällige, funktionierende Datei besteht aus drei Zeilen: User-agent mit Sternchen, ein leeres Disallow, das nichts sperrt, und der Verweis auf die Sitemap.

Die Schlüsselwörter selbst dürfen groß oder klein geschrieben werden. Bei den Pfaden dahinter zählt die Schreibweise genau: /Preise/ und /preise/ sind zwei verschiedene Dinge. Und der Wert bei Sitemap muss die vollständige Adresse mit https sein, ein Pfad allein genügt nicht.

Der Unterschied, an dem die meisten scheitern

Die robots.txt regelt, ob eine Seite abgerufen werden darf. Sie regelt nicht, ob sie in den Suchergebnissen erscheint. Das klingt nach Wortklauberei, führt aber zum häufigsten Missverständnis in diesem Bereich.

Sperren Sie eine Seite per Disallow, ruft Google sie nicht mehr ab. Kennt Google die Adresse aber bereits, etwa weil eine andere Website darauf verweist, kann der Eintrag weiter in den Ergebnissen stehen. Nur eben ohne Beschreibung, mit dem Hinweis, dass keine Informationen verfügbar sind. Das Gegenteil dessen, was gewollt war.

Soll eine Seite wirklich aus dem Index verschwinden, braucht sie die Anweisung noindex im Kopfbereich der Seite oder im Server-Antwortkopf. Und jetzt kommt die Falle: Damit Google dieses noindex lesen kann, muss die Seite abrufbar sein. Wer beides gleichzeitig einsetzt, Sperre und noindex, verhindert genau die Wirkung, die er erreichen wollte.

Praxistipp: Faustregel: Disallow für Bereiche, die Google nicht belasten sollen. noindex für Seiten, die niemand finden soll. Nie beides für dieselbe Seite.

Der Klassiker nach dem Relaunch

Fast jede Website wird zuerst auf einer Testadresse gebaut. Damit dieser halbfertige Stand nicht bei Google landet, sperrt die Agentur ihn ab, meist mit zwei Zeilen: User-agent: * und darunter Disallow: / mit einem einzelnen Schrägstrich. Dieser Schrägstrich bedeutet: die gesamte Website.

Beim Umzug auf die richtige Domain wird alles mitgenommen, auch diese Datei. Von außen ist nichts zu sehen, die Seite lädt, die Formulare gehen, die Bilder sind da. Nur Google verschwindet über Wochen. Der Betrieb merkt es an ausbleibenden Anrufen, nicht an einer Meldung.

Bei WordPress gibt es dieselbe Falle als Häkchen: unter Einstellungen, Lesen steht die Option, Suchmaschinen von der Indexierung abzuhalten. Sie wird beim Bau gesetzt und beim Start regelmäßig vergessen.

• Nach jedem Umzug und jedem Relaunch die robots.txt im Browser aufrufen.

• Bei WordPress zusätzlich den Haken unter Einstellungen, Lesen kontrollieren.

• Im Zweifel die Datei löschen: keine robots.txt ist besser als eine falsche.

Was hinein gehört und was nicht

Sinnvoll gesperrt werden Bereiche ohne Wert für die Suche: interne Suchergebnisseiten, Warenkorb und Kasse, Filter- und Sortieradressen mit langen Parameterketten, Verwaltungsbereiche. Diese Seiten bringen keine Besucher und binden nur Abrufe.

Nicht gesperrt werden dürfen dagegen die Dateien, die das Aussehen erzeugen. Wer die Ordner mit Stylesheets, Skripten oder Bildern sperrt, hindert Google daran, die Seite so zu sehen, wie der Besucher sie sieht. Das schadet der Bewertung der mobilen Darstellung.

Und der Punkt, der am häufigsten übersehen wird: Die Datei ist öffentlich. Eine Zeile wie Disallow: /kundenbereich-2026/ ist eine Einladung. Wer dort etwas findet, hat es nicht gesucht, sondern vorgelesen bekommen. Bereiche, die niemand sehen soll, gehören hinter ein Passwort, nicht in die robots.txt.

Praxistipp: Wenn ein Bereich vertraulich ist, schützen Sie ihn mit einem Passwort. Alles andere ist ein Türschild ohne Tür.

So prüfen Sie Ihre Datei in fünf Minuten

Für die Kontrolle brauchen Sie kein bezahltes Werkzeug. Zwei Wege reichen aus, und beide sind kostenlos.

1. Rufen Sie ihre-domain.de/robots.txt im Browser auf und lesen Sie die Datei Zeile für Zeile. Steht dort Disallow mit einem einzelnen Schrägstrich, ist Ihre Website komplett gesperrt.

2. Öffnen Sie die Google Search Console und dort unter Einstellungen den Bericht zur robots.txt. Er zeigt, wann Google die Datei zuletzt geholt hat, ob sie erreichbar war und ob Google Fehler in einer Zeile sieht.

3. Prüfen Sie in der Search Console unter Seiten, ob Adressen mit dem Vermerk zur Blockierung durch robots.txt auftauchen. Wenn ja, sehen Sie sich an, welche das sind.

Ändern Sie etwas an der Datei, wirkt das nicht sofort. Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen, bevor sie erneut geholt wird. Danach dauert es je nach Umfang der Website weitere Tage bis Wochen, bis vorher gesperrte Seiten tatsächlich abgerufen und in den Index aufgenommen sind. Rechnen Sie bei einer kleinen Betriebswebsite mit zwei bis vier Wochen, bis sich das Bild in der Suche wieder sortiert hat.

Eine technische Grenze am Rande: Google berücksichtigt die ersten 500 Kibibyte der Datei. Das ist für eine normale Website keine Einschränkung, aber es erklärt, warum aufgeblähte, automatisch erzeugte Dateien am Ende nicht mehr gelesen werden.

Die Grenzen der Datei

Eine robots.txt beschleunigt keine Platzierung. Sie verbessert keine Texte, ersetzt keine Sitemap und macht aus einer schwachen Seite keine starke. Ihr einziger Beitrag ist, dass nichts im Weg steht.

Auch die Angabe Crawl-delay, mit der man das Abruftempo drosseln wollte, hilft bei Google nicht: Sie wird ignoriert. Wenn ein Server unter dem Abrufaufkommen leidet, ist das ein Fall für das Hosting, nicht für diese Datei.

Schließlich gilt sie immer nur für einen Host. Ihre Hauptdomain, eine Subdomain wie shop.ihre-domain.de und die Variante mit http statt https brauchen jeweils eigene Dateien. Wer nach einem Umzug nur an eine denkt, hat die anderen ungeregelt gelassen.

Wichtige Erkenntnisse

Was das in der Praxis heißt

Für die meisten kleinen Betriebe ist die richtige Antwort auf dieses Thema erfreulich kurz: einmal nachsehen, die drei Standardzeilen stehen lassen, die Sitemap eintragen, fertig. Danach fassen Sie die Datei jahrelang nicht mehr an. Der Aufwand liegt bei einer Viertelstunde, und er lohnt sich, weil der Schadensfall so teuer ist. Eine Website, die vier Wochen lang gesperrt war, verliert nicht nur diese vier Wochen, sondern auch die Zeit, bis Google alles wieder erfasst hat.

Was Sie dagegen nicht beeinflussen können, ist der Zeitpunkt, zu dem Google Ihre Änderung bemerkt und die Seiten neu bewertet. Es gibt keinen Knopf, der das beschleunigt, und niemand kann Ihnen seriös eine Frist zusagen. Ebenso wenig können Sie verhindern, dass sich einzelne Programme über Ihre Anweisungen hinwegsetzen. Wer aus diesem Umstand ein Angebot macht, verspricht etwas, das er nicht liefern kann. Was in Ihrer Hand liegt, ist allein die Datei selbst: dass sie da ist, dass sie stimmt und dass sie nach jeder größeren Änderung an der Website noch einmal angesehen wird.

Wenn Sie lieber jemanden draufschauen lassen

Wir sehen uns solche Dateien oft an, wenn ein Betrieb aus dem Rheinland uns anruft, weil er bei Google verschwunden ist. In etlichen Fällen ist die Sache in zehn Minuten erledigt. In einem Erstgespräch von fünfzehn Minuten, ohne Verkaufsgespräch, sagen wir Ihnen, ob es bei Ihnen daran liegt oder woanders.

Wenn Sie die laufende Kontrolle abgeben möchten: Im Paket Sichtbar für 150 Euro netto im Monat gehört die regelmäßige technische Prüfung Ihrer Website und Ihres Google-Profils dazu, samt Bericht. Sie müssen dann nicht selbst daran denken, nach dem nächsten Umbau nachzusehen.

Nützliche Quellen

• Google Search Central: Einführung in robots.txt

• Google Search Central: robots.txt-Spezifikation

• Google Search Central: Seiten mit noindex aus der Suche nehmen

• Google Search Console Hilfe: robots.txt-Bericht

Häufige Fragen

Braucht meine Website überhaupt eine robots.txt?

Zwingend nötig ist sie nicht. Fehlt sie, ruft Google einfach alles ab, was über Verweise erreichbar ist. Sinnvoll ist sie trotzdem, weil Sie darin die Sitemap angeben und Bereiche ohne Nutzen für die Suche ausnehmen können.

Wo finde ich die Datei?

Sie liegt im Wurzelverzeichnis Ihrer Website und ist unter ihre-domain.de/robots.txt abrufbar. Bei Baukastensystemen und Framer wird sie automatisch erzeugt, bei WordPress ebenfalls, dort meist über das SEO-Plugin bearbeitbar.

Warum steht eine gesperrte Seite trotzdem bei Google?

Weil die robots.txt nur das Abrufen verhindert, nicht das Aufnehmen der Adresse. Kennt Google die Adresse aus einem Verweis, kann sie ohne Beschreibung in den Ergebnissen erscheinen. Für das Entfernen brauchen Sie noindex auf einer abrufbaren Seite.

Kann ich damit meinen Mitgliederbereich schützen?

Nein. Die Datei ist öffentlich und wird von unseriösen Programmen ignoriert. Wer sie liest, erfährt sogar, wo der Bereich liegt. Vertrauliche Inhalte gehören hinter eine Anmeldung mit Passwort.

Wie lange dauert es, bis eine Änderung wirkt?

Google holt die Datei in der Regel innerhalb von 24 Stunden neu. Bis vorher gesperrte Seiten dann abgerufen und in die Suche aufgenommen sind, vergehen bei einer kleinen Website meist zwei bis vier Wochen.

Was bedeutet Disallow mit einem einzelnen Schrägstrich?

Das sperrt die komplette Website für den angegebenen Crawler. Diese Zeile gehört auf eine Testumgebung, niemals auf die fertige Seite. Sie ist die häufigste Ursache dafür, dass eine neue Website unsichtbar bleibt.

Muss ich meine Sitemap in die robots.txt eintragen?

Nötig ist es nicht, wenn Sie die Sitemap in der Search Console eingereicht haben. Es schadet aber nicht und hilft anderen Suchmaschinen, sie zu finden. Wichtig ist, die vollständige Adresse mit https anzugeben.

Kann ich einzelne Suchmaschinen aussperren?

Ja, indem Sie einen eigenen Block mit dem Namen des Crawlers anlegen, statt das Sternchen zu verwenden. Ob das sinnvoll ist, hängt vom Fall ab. Für einen lokalen Betrieb gibt es selten einen Grund dazu.

Kann eine falsche robots.txt zu einer Abstrafung führen?

Eine Strafe im eigentlichen Sinn ist es nicht. Die Wirkung ist trotzdem hart: Gesperrte Seiten werden nicht bewertet und fallen aus den Ergebnissen, bis die Sperre aufgehoben ist.

Wer kümmert sich normalerweise darum?

Meist die Agentur oder der Dienstleister, der die Website betreut. Fragen Sie beim nächsten Umbau ausdrücklich nach, ob die robots.txt geprüft wurde. Es ist eine Frage, die in zwei Minuten beantwortet ist.