Robots.txt Generator
Steuern Sie, welche Crawler welche Pfade anfragen sollen, bevor Suchmaschinen, KI-Bots oder Staging-Leaks die falschen URLs entdecken.
Regel-Editor
Verwenden Sie * für jeden Crawler oder geben Sie einen bestimmten Crawlernamen wie Googlebot ein.
Ein Pfad pro Zeile. Jeder Pfad sollte mit / beginnen.
Allow-Regeln überschreiben breitere Disallow-Regeln.
Verweisen Sie Crawler auf Ihre Sitemap, damit öffentliche URLs leichter gefunden werden.
Dateivorschau: robots.txt
Robots.txt-Referenz
User-agent: *
Gilt für jeden Crawler und wird typischerweise als Standard-Regelgruppe verwendet.
Disallow: /private/
Bittet konforme Crawler, Pfade im Verzeichnis /private/ nicht abzurufen.
Allow: /private/image.jpg
Erlaubt Crawlern den Zugriff auf eine bestimmte Datei, selbst wenn ein übergeordneter Pfad gesperrt ist.
Sitemap: URL
Verweist Crawler auf die Sitemap, damit sie öffentliche URLs effizienter entdecken.
Häufige Fragen
Brauche ich eine robots.txt-Datei?
Sie ist nicht Pflicht, aber hilfreich, um Crawlern klare Regeln und den Sitemap-Ort zu geben. Ohne robots.txt können konforme Crawler jede öffentliche URL anfragen, die sie entdecken.
Kann ich diese Datei direkt hochladen, auch wenn ich nicht technisch bin?
Ja. Der Generator folgt dem Standard Robots Exclusion Protocol. Für eine typische Marketing-Website reichen oft das Allow-all-Preset und eine Sitemap-URL.
Wie blockiere ich ChatGPT oder andere KI-Crawler?
Nutzen Sie das Preset für KI-Crawler. Es ergänzt Disallow-Regeln für gängige KI-bezogene Crawler. robots.txt ist aber freiwillig: Es steuert höfliche Crawler, ersetzt keine Zugriffssicherheit.
Schützt robots.txt private Seiten?
Nein. robots.txt ist öffentlich und sollte nicht als Schutzmechanismus genutzt werden. Private Dashboards, Staging-Builds und Kundendateien brauchen Authentifizierung, noindex-Kontrollen oder Netzwerkbeschränkungen.
Was ist der Unterschied zwischen noindex und Disallow?
Disallow bittet Crawler, einen Pfad nicht abzurufen. noindex sagt Suchmaschinen, eine Seite nicht in Suchergebnissen zu halten. Wenn ein Crawler eine Seite wegen Disallow nicht abrufen darf, sieht er ein noindex-Tag auf Seitenebene möglicherweise nicht.