Generador robots.txt
Controla qué crawlers pueden entrar antes de que buscadores, bots de IA o URLs de staging descubran rutas equivocadas.
Editor de reglas
Usa * para cualquier crawler o ingresa un nombre específico como Googlebot.
Una ruta por línea. Empieza cada ruta con /.
Usa reglas allow para sobrescribir un disallow más amplio.
Indica el sitemap para que los crawlers encuentren las URLs públicas con más facilidad.
Vista del archivo: robots.txt
Referencia robots.txt
User-agent: *
Coincide con cualquier crawler y suele usarse como grupo de reglas por defecto.
Disallow: /private/
Pide a crawlers compatibles que no soliciten rutas dentro de /private/.
Allow: /private/image.jpg
Permite que crawlers accedan a un archivo específico aunque una ruta superior esté bloqueada.
Sitemap: URL
Apunta a tu sitemap para que los crawlers descubran URLs públicas de forma más eficiente.
Preguntas frecuentes
¿Necesito un archivo robots.txt?
No es obligatorio, pero ayuda a dar reglas claras de rastreo y ubicación de sitemap. Sin robots.txt, crawlers compatibles pueden solicitar cualquier URL pública que descubran.
¿Puedo subir este archivo aunque no sea técnico?
Sí. El generador sigue el protocolo estándar de exclusión robots. Para un sitio de marketing común, permitir todo y agregar sitemap suele ser suficiente.
¿Cómo bloqueo ChatGPT u otros crawlers de IA?
Usa el preset para bloquear crawlers de IA. Agrega reglas Disallow para crawlers comunes, pero robots.txt es voluntario: controla crawlers respetuosos, no seguridad de acceso.
¿robots.txt protege páginas privadas?
No. robots.txt es público y no debe usarse como protección. Dashboards privados, staging y archivos de clientes necesitan autenticación, noindex o restricciones de red.
¿Cuál es la diferencia entre noindex y Disallow?
Disallow pide no rastrear una ruta. noindex pide no mantener una página en resultados de búsqueda. Si el crawler no puede leer la página por Disallow, quizá tampoco vea un noindex dentro del HTML.