Strumento SEO gratuito
Generatore Robots.txt - Crea il tuo Robots.txt
Genera un file robots.txt formattato correttamente per il tuo sito. Scegli gli user agent, imposta le regole allow/disallow, specifica una sitemap e controlla come i motori di ricerca indicizzano i tuoi contenuti.
Come creare un file robots.txt per un sito?
Il Generatore Robots.txt crea un file formattato correttamente in 4 passaggi: 1) Inserisci l'URL della Sitemap (es. https://tuodominio.it/sitemap.xml): aiuta i motori di ricerca a scoprire più velocemente tutte le pagine. 2) Configura lo User-agent: scegli tra 12 opzioni: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, bot di Facebook, bot di Twitter, più i bot AI GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Aggiungi i percorsi Disallow (admin, wp-admin, api, login, cart) e le eccezioni Allow. Crawl-delay opzionale (Google lo ignora, Bing/Yandex lo rispettano). 4) L'anteprima dal vivo mostra il file generato, clicca su Copia → incolla in public_html/robots.txt. Utile per: ottimizzare il crawl budget, bloccare lo scraping AI (proteggendo i contenuti protetti da copyright), evitare l'indicizzazione duplicata. Il Generatore Robots.txt è 100% gratuito, con un editor visuale intuitivo. BeoHosting offre anche il File Manager di cPanel per il caricamento, a partire da 4,31 €/mese.
- Editor visuale con 12 user agent + opzioni per i bot AI
- Regole Allow/Disallow/Crawl-delay + URL della Sitemap
- Anteprima dal vivo con copia in un clic
- File Manager di cPanel BeoHosting per il caricamento, a partire da 4,31 €/mese
Generatore Robots.txt
Configura le regole per i motori di ricerca e genera il robots.txt per il tuo sito.
Regola #1
Google non rispetta il crawl-delay. Bing e Yandex sì.
# robots.txt generated by BeoHosting # 2026-10-08 User-agent: * Disallow: /admin/ Disallow: /cgi-bin/
Istruzioni:Copia il contenuto generato e salvalo come robots.txt nella directory principale del tuo sito (public_html/). Il file deve essere accessibile all'indirizzo yoursite.com/robots.txt.
Robots.txt - Quello che devi sapere
Una corretta configurazione del robots.txt è fondamentale per la SEO e per controllare l'indicizzazione del tuo sito.
Aggiungi sempre una Sitemap
Specifica il percorso del tuo file sitemap.xml nel robots.txt. Questo aiuta i motori di ricerca a scoprire e indicizzare in modo più efficiente tutte le pagine del tuo sito.
Non bloccare CSS/JS
Google ha bisogno di accedere ai file CSS e JavaScript per renderizzare correttamente la pagina. Bloccare queste risorse può incidere negativamente sul ranking SEO.
Usa Allow per le eccezioni
Se blocchi una directory, puoi consentire l'accesso a pagine specifiche al suo interno usando la direttiva Allow. Allow ha la priorità su Disallow.
Blocca i bot AI
Se non vuoi che le aziende AI usino i tuoi contenuti per addestrare i modelli, blocca gli user agent GPTBot, Google-Extended, CCBot e anthropic-ai.
Testa prima di pubblicare
Usa lo strumento di test del robots.txt di Google Search Console prima di pubblicare. Una configurazione errata può bloccare l'indicizzazione dell'intero sito.
Non usarlo per la protezione
robots.txt è solo una raccomandazione: i bot malevoli lo ignorano. Non usarlo per nascondere pagine sensibili. Usa una password, il meta tag noindex o l'autenticazione HTTP.
Guida al Robots.txt - Come controllare l'indicizzazione del sito
Robots.txt è un file standard usato dai motori di ricerca (Google, Bing, Yandex) per sapere quali parti del tuo sito possono visitare e indicizzare. Secondo il Robots Exclusion Protocol, ogni bot ben configurato legge per primo il tuo robots.txt prima di iniziare la scansione.
Una corretta configurazione del robots.txt è importante per la SEO perché aiuta i motori di ricerca a usare in modo efficiente il loro crawl budget, ovvero il numero di pagine che Google visita a ogni scansione del tuo sito. Bloccando le pagine irrilevanti (pannelli di amministrazione, risultati di ricerca, pagine utente), indirizzi i bot verso i contenuti più importanti.
Robots.txt e BeoHosting
Su tutti i piani di hosting BeoHosting puoi creare facilmente un file robots.txt tramite il File Manager di cPanel. Per i siti WordPress, robots.txt può essere configurato anche tramite un plugin come Yoast SEO o Rank Math. La nostra guida SEO per principianti tratta questo argomento in dettaglio.
È importante sottolineare che robots.txt non è un meccanismo di sicurezza. I bot malevoli lo ignorano. Per una reale protezione delle pagine private, usa l'autenticazione HTTP, il meta tag noindex o l'accesso tramite password. Robots.txt va usato esclusivamente per ottimizzare l'indicizzazione, non per nascondere contenuti.
Pronto a lanciare il tuo sito web?
Unisciti a oltre 4.000 clienti soddisfatti. Migrazione gratuita e garanzia soddisfatti o rimborsati di 30 giorni.
Domande frequenti - Generatore Robots.txt
Le risposte alle domande più comuni sui nostri servizi.
Chiamaci: l'assistenza è attiva 24/7, al telefono e tramite ticket.
(+381) 60 3535 720Cos'è il robots.txt e perché mi serve?
robots.txt è un file di testo che si trova nella directory principale del tuo sito (es. sito.com/robots.txt) e indica ai motori di ricerca (Googlebot, Bingbot) quali pagine possono e non possono visitare e indicizzare. Fa parte dello standard Robots Exclusion Protocol. Senza robots.txt, i motori di ricerca indicizzano tutte le pagine accessibili. Con esso, puoi impedire l'indicizzazione di pagine di amministrazione, duplicati, sezioni private e pagine non necessarie.
Il robots.txt influisce sulla SEO?
Sì, in modo diretto e indiretto. Robots.txt aiuta i motori di ricerca a usare in modo efficiente il crawl budget (il numero di pagine che un bot visita per sessione). Bloccando le pagine irrilevanti (admin, login, filtri), indirizzi i bot verso i contenuti importanti. Inoltre, specificare l'URL della sitemap velocizza la scoperta di nuove pagine. Tuttavia, le pagine bloccate NON verranno rimosse dai risultati di ricerca: per quello usa il meta tag noindex.
Come installo il robots.txt su un sito?
Robots.txt deve essere accessibile all'indirizzo tuodominio/robots.txt (es. https://sito.com/robots.txt). Su BeoHosting: vai nel File Manager di cPanel, apri la cartella public_html, crea un nuovo file "robots.txt" e incolla il contenuto generato. Il file deve trovarsi nella directory principale del sito, non in una sottocartella. Verifica che sia accessibile aprendo l'URL nel browser.
Posso bloccare i bot AI (GPTBot, Google-Extended)?
Sì. Aggiungi un blocco separato per ogni bot AI con una direttiva Disallow: /. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) e anthropic-ai (Anthropic/Claude) rispettano il robots.txt. Il nostro generatore offre un'opzione per tutti questi user agent. In questo modo eviti che i tuoi contenuti vengano usati per addestrare i modelli AI.
Cos'è il Crawl-delay e dovrei usarlo?
Il Crawl-delay indica al bot quanti secondi attendere tra una richiesta e l'altra. È utile se hai un server poco potente che non regge una scansione intensa. Google NON rispetta il Crawl-delay (usa Search Console per regolarlo), ma Bing, Yandex e altri bot sì. Per i clienti BeoHosting il crawl-delay di solito non è necessario, perché i nostri server dispongono di risorse sufficienti.
Le nostre garanzie per la tua tranquillità
Protetto sotto ogni punto di vista
Garanzia di 30 giorni
Rimborsiamo senza fare domande nei primi 30 giorni.
Migrazione gratuita
Migriamo il tuo sito senza interruzioni: non devi fare nulla.
Assistenza 24/7
I nostri esperti sono a tua disposizione 24/7 via ticket e live chat.