Générateur Robots.txt
Contrôlez quels robots peuvent explorer le site avant que moteurs de recherche, robots IA ou pages de préproduction découvrables ne passent sur les mauvais chemins.
Éditeur de règles
Utilisez * pour tous les robots, ou saisissez un robot précis comme Googlebot.
Un chemin par ligne. Commencez chaque chemin par /.
Utilisez Allow pour surcharger une règle Disallow plus large.
Indiquez votre sitemap aux robots d'exploration pour faciliter la découverte des URL publiques.
Aperçu du fichier : robots.txt
Référence Robots.txt
User-agent: *
Correspond à tous les robots d'exploration et sert généralement de groupe de règles par défaut.
Disallow: /private/
Demande aux robots qui respectent le protocole de ne pas demander les chemins dans le dossier /private/.
Allow: /private/image.jpg
Autorise l'accès à un fichier précis même quand un chemin parent est interdit.
Sitemap: URL
Indique le sitemap aux robots d'exploration pour qu'ils découvrent vos URL publiques plus efficacement.
Questions fréquentes
Ai-je besoin d'un fichier robots.txt ?
Il n'est pas obligatoire, mais il est utile pour donner des règles de crawl claires et une localisation de sitemap. Sans lui, les robots qui respectent le protocole peuvent demander toute URL publique découverte.
Puis-je téléverser ce fichier directement même sans être technique ?
Oui. Le générateur suit le protocole standard d'exclusion robots. Pour un site marketing typique, le préréglage tout autoriser avec une URL sitemap suffit souvent.
Comment bloquer ChatGPT ou d'autres robots IA ?
Utilisez le préréglage Bloquer les robots IA. Il ajoute des règles disallow pour des robots IA fréquents, mais robots.txt reste volontaire. Il contrôle les robots qui respectent le protocole, pas la sécurité d'accès.
robots.txt sécurise-t-il les pages privées ?
Non. robots.txt est public et ne doit pas servir de protection. Tableaux de bord privés, builds de préproduction et fichiers clients demandent une authentification ou des restrictions réseau. noindex sert à l'indexation, pas à l'accès.
Quelle différence entre noindex et Disallow ?
Disallow demande aux crawlers de ne pas récupérer un chemin. noindex demande aux moteurs de ne pas garder une page dans les résultats. Si un crawler ne peut pas récupérer une page car elle est disallowed, il peut ne pas voir une balise noindex de page.