Generatore robots.txt
Controlla quali crawler possono entrare prima che motori di ricerca, bot di intelligenza artificiale o fughe di informazioni di staging scoprano i percorsi sbagliati.
Editor delle regole
Usa * per ogni crawler oppure inserisci il nome di un crawler specifico come Googlebot.
Un percorso per riga. Inizia ogni percorso con /.
Usa regole Allow per sovrascrivere una regola Disallow più ampia.
Indica ai crawler la tua sitemap in modo che gli URL pubblici siano più facili da scoprire.
Anteprima del file: robots.txt
Riferimento Robots.txt
User-agent: *
Corrisponde a ogni crawler e viene generalmente utilizzato come gruppo di regole predefinito.
Disallow: /private/
Chiede ai crawler conformi di non richiedere percorsi all'interno della directory /private/.
Allow: /private/image.jpg
Consente ai crawler di accedere a un file specifico anche quando un percorso principale non è consentito.
Sitemap: URL
Indirizza i crawler alla sitemap in modo che possano scoprire gli URL pubblici in modo più efficiente.
Domande frequenti
Ho bisogno di un file robots.txt?
Non è obbligatorio, ma è utile per fornire ai crawler regole di scansione chiare e la posizione della sitemap. Senza robots.txt, i crawler conformi possono richiedere qualsiasi URL pubblico che scoprono.
Posso caricare direttamente questo file anche se non sono un tecnico?
Sì. Il generatore segue il protocollo standard di esclusione dei robot. Per un tipico sito di marketing, spesso basta il preset Consenti tutto più un URL sitemap.
Come posso bloccare ChatGPT o altri crawler AI?
Usa il preset Blocca i crawler AI. Aggiunge regole che bloccano crawler comuni legati all'intelligenza artificiale, ma robots.txt è volontario: orienta i crawler rispettosi, non sostituisce la sicurezza dell'accesso.
robots.txt mantiene sicure le pagine private?
No. robots.txt è pubblico e non deve essere usato come protezione. Dashboard private, build di staging e file dei clienti richiedono ancora autenticazione, controlli noindex o restrizioni a livello di rete.
Qual è la differenza tra noindex e Disallow?
Disallow indica ai crawler di non recuperare un percorso. noindex dice ai motori di ricerca di non mantenere una pagina nei risultati di ricerca. Se un crawler non riesce a recuperare una pagina perché non è consentita, potrebbe non vedere un tag noindex a livello di pagina.