Robots.txt-generator
Bepaal welke crawlers kunnen binnenkomen voordat zoekmachines, AI-bots of staging-lekken de verkeerde paden ontdekken.
Regel-editor
Gebruik * voor elke crawler of voer een specifieke crawlernaam in, zoals Googlebot.
Eén pad per lijn. Begin elk pad met /.
Gebruik regels voor toestaan om een bredere regel voor niet toestaan te overschrijven.
Wijs crawlers naar uw sitemap, zodat openbare URL's gemakkelijker te ontdekken zijn.
Bestandsvoorbeeld: robots.txt
Robots.txt-referentie
User-agent: *
Komt overeen met elke crawler en wordt doorgaans gebruikt als de standaardregelgroep.
Disallow: /private/
Vraagt compatibele crawlers om geen paden binnen de directory /private/ op te vragen.
Allow: /private/image.jpg
Geeft crawlers toegang tot een specifiek bestand, zelfs als een bovenliggend pad niet is toegestaan.
Sitemap: URL
Wijst crawlers naar de sitemap, zodat zij uw openbare URL's efficiënter kunnen ontdekken.
Veelgestelde vragen
Heb ik een robots.txt-bestand nodig?
Het is niet verplicht, maar het is wel handig om crawlers duidelijke crawlregels en een sitemap-locatie te geven. Zonder robots.txt kunnen compatibele crawlers elke openbare URL opvragen die ze ontdekken.
Kan ik dit bestand rechtstreeks uploaden, zelfs als ik niet technisch ben?
Ja. De generator volgt het standaardprotocol voor het uitsluiten van robots. Voor een typische marketingwebsite is de standaardinstelling 'alles toestaan' plus een sitemap-URL vaak voldoende.
Hoe blokkeer ik ChatGPT of andere AI-crawlers?
Gebruik de voorinstelling Block AI-crawlers. Het voegt regels voor het weigeren van algemene AI-gerelateerde crawlers toe, maar robots.txt is vrijwillig. Het controleert beleefde crawlers, niet de toegangsbeveiliging.
Houdt robots.txt privépagina's veilig?
Nee. robots.txt is openbaar en mag niet als bescherming worden gebruikt. Privédashboards, staging-builds en klantbestanden hebben nog steeds authenticatie, noindex-controles of beperkingen op netwerkniveau nodig.
Wat is het verschil tussen noindex en Disallow?
Disallow vertelt crawlers dat ze geen pad mogen ophalen. noindex vertelt zoekmachines om een pagina niet in de zoekresultaten te behouden. Als een crawler een pagina niet kan ophalen omdat deze niet is toegestaan, ziet hij mogelijk geen noindex-tag op paginaniveau.