Vai al contenuto
(+381) 60 3535 720
Il mio account
BeoHosting
BeoHosting
Il mio accountContatti
(+381) 60 3535 720
 

Strumento SEO gratuito

Generatore Robots.txt - Crea il tuo Robots.txt

Genera un file robots.txt formattato correttamente per il tuo sito. Scegli gli user agent, imposta le regole allow/disallow, specifica una sitemap e controlla come i motori di ricerca indicizzano i tuoi contenuti.

Crea robots.txtGuida SEO
RISPOSTA RAPIDA

Come creare un file robots.txt per un sito?

Il Generatore Robots.txt crea un file formattato correttamente in 4 passaggi: 1) Inserisci l'URL della Sitemap (es. https://tuodominio.it/sitemap.xml): aiuta i motori di ricerca a scoprire più velocemente tutte le pagine. 2) Configura lo User-agent: scegli tra 12 opzioni: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, bot di Facebook, bot di Twitter, più i bot AI GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Aggiungi i percorsi Disallow (admin, wp-admin, api, login, cart) e le eccezioni Allow. Crawl-delay opzionale (Google lo ignora, Bing/Yandex lo rispettano). 4) L'anteprima dal vivo mostra il file generato, clicca su Copia → incolla in public_html/robots.txt. Utile per: ottimizzare il crawl budget, bloccare lo scraping AI (proteggendo i contenuti protetti da copyright), evitare l'indicizzazione duplicata. Il Generatore Robots.txt è 100% gratuito, con un editor visuale intuitivo. BeoHosting offre anche il File Manager di cPanel per il caricamento, a partire da 4,31 €/mese.

  • Editor visuale con 12 user agent + opzioni per i bot AI
  • Regole Allow/Disallow/Crawl-delay + URL della Sitemap
  • Anteprima dal vivo con copia in un clic
  • File Manager di cPanel BeoHosting per il caricamento, a partire da 4,31 €/mese

BeoHosting Team

10+ anni di esperienza — Specialisti di web hosting e infrastrutture

Ultimo aggiornamento:

Generatore Robots.txt

Configura le regole per i motori di ricerca e genera il robots.txt per il tuo sito.

Regola #1

/admin//cgi-bin/
Aggiunta rapida:

Google non rispetta il crawl-delay. Bing e Yandex sì.

robots.txt
# robots.txt generated by BeoHosting
# 2026-08-02

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Istruzioni:Copia il contenuto generato e salvalo come robots.txt nella directory principale del tuo sito (public_html/). Il file deve essere accessibile all'indirizzo yoursite.com/robots.txt.

Best practice

Robots.txt - Quello che devi sapere

Una corretta configurazione del robots.txt è fondamentale per la SEO e per controllare l'indicizzazione del tuo sito.

Aggiungi sempre una Sitemap

Specifica il percorso del tuo file sitemap.xml nel robots.txt. Questo aiuta i motori di ricerca a scoprire e indicizzare in modo più efficiente tutte le pagine del tuo sito.

Non bloccare CSS/JS

Google ha bisogno di accedere ai file CSS e JavaScript per renderizzare correttamente la pagina. Bloccare queste risorse può incidere negativamente sul ranking SEO.

Usa Allow per le eccezioni

Se blocchi una directory, puoi consentire l'accesso a pagine specifiche al suo interno usando la direttiva Allow. Allow ha la priorità su Disallow.

Blocca i bot AI

Se non vuoi che le aziende AI usino i tuoi contenuti per addestrare i modelli, blocca gli user agent GPTBot, Google-Extended, CCBot e anthropic-ai.

Testa prima di pubblicare

Usa lo strumento di test del robots.txt di Google Search Console prima di pubblicare. Una configurazione errata può bloccare l'indicizzazione dell'intero sito.

Non usarlo per la protezione

robots.txt è solo una raccomandazione: i bot malevoli lo ignorano. Non usarlo per nascondere pagine sensibili. Usa una password, il meta tag noindex o l'autenticazione HTTP.

Guida al Robots.txt - Come controllare l'indicizzazione del sito

Robots.txt è un file standard usato dai motori di ricerca (Google, Bing, Yandex) per sapere quali parti del tuo sito possono visitare e indicizzare. Secondo il Robots Exclusion Protocol, ogni bot ben configurato legge per primo il tuo robots.txt prima di iniziare la scansione.

Una corretta configurazione del robots.txt è importante per la SEO perché aiuta i motori di ricerca a usare in modo efficiente il loro crawl budget, ovvero il numero di pagine che Google visita a ogni scansione del tuo sito. Bloccando le pagine irrilevanti (pannelli di amministrazione, risultati di ricerca, pagine utente), indirizzi i bot verso i contenuti più importanti.

Robots.txt e BeoHosting

Su tutti i piani di hosting BeoHosting puoi creare facilmente un file robots.txt tramite il File Manager di cPanel. Per i siti WordPress, robots.txt può essere configurato anche tramite un plugin come Yoast SEO o Rank Math. La nostra guida SEO per principianti tratta questo argomento in dettaglio.

È importante sottolineare che robots.txt non è un meccanismo di sicurezza. I bot malevoli lo ignorano. Per una reale protezione delle pagine private, usa l'autenticazione HTTP, il meta tag noindex o l'accesso tramite password. Robots.txt va usato esclusivamente per ottimizzare l'indicizzazione, non per nascondere contenuti.

Strumenti e servizi correlati

Meta Tag AnalyzerSSL CheckerDNS CheckerPassword GeneratorBase64 EncoderWHOIS LookupSEO guideWordPress HostingShared HostingContact

Pronto a lanciare il tuo sito web?

Protezione SSL
Velocità
Assistenza 24/7

Unisciti a oltre 4.000 clienti soddisfatti. Migrazione gratuita e garanzia soddisfatti o rimborsati di 15 giorni.

Scegli un pianoContattaci
Garanzia soddisfatti o rimborsati di 15 giorni
Migrazione gratuitaGaranzia di 15 giorniAssistenza 24/7

Domande frequenti - Generatore Robots.txt

Le risposte alle domande più comuni sui nostri servizi.

robots.txt è un file di testo che si trova nella directory principale del tuo sito (es. sito.com/robots.txt) e indica ai motori di ricerca (Googlebot, Bingbot) quali pagine possono e non possono visitare e indicizzare. Fa parte dello standard Robots Exclusion Protocol. Senza robots.txt, i motori di ricerca indicizzano tutte le pagine accessibili. Con esso, puoi impedire l'indicizzazione di pagine di amministrazione, duplicati, sezioni private e pagine non necessarie.

Sì, in modo diretto e indiretto. Robots.txt aiuta i motori di ricerca a usare in modo efficiente il crawl budget (il numero di pagine che un bot visita per sessione). Bloccando le pagine irrilevanti (admin, login, filtri), indirizzi i bot verso i contenuti importanti. Inoltre, specificare l'URL della sitemap velocizza la scoperta di nuove pagine. Tuttavia, le pagine bloccate NON verranno rimosse dai risultati di ricerca: per quello usa il meta tag noindex.

Robots.txt deve essere accessibile all'indirizzo tuodominio/robots.txt (es. https://sito.com/robots.txt). Su BeoHosting: vai nel File Manager di cPanel, apri la cartella public_html, crea un nuovo file "robots.txt" e incolla il contenuto generato. Il file deve trovarsi nella directory principale del sito, non in una sottocartella. Verifica che sia accessibile aprendo l'URL nel browser.

Sì. Aggiungi un blocco separato per ogni bot AI con una direttiva Disallow: /. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) e anthropic-ai (Anthropic/Claude) rispettano il robots.txt. Il nostro generatore offre un'opzione per tutti questi user agent. In questo modo eviti che i tuoi contenuti vengano usati per addestrare i modelli AI.

Il Crawl-delay indica al bot quanti secondi attendere tra una richiesta e l'altra. È utile se hai un server poco potente che non regge una scansione intensa. Google NON rispetta il Crawl-delay (usa Search Console per regolarlo), ma Bing, Yandex e altri bot sì. Per i clienti BeoHosting il crawl-delay di solito non è necessario, perché i nostri server dispongono di risorse sufficienti.

Le nostre garanzie per la tua tranquillità

Protetto sotto ogni punto di vista

Garanzia di 15 giorni

Rimborsiamo senza fare domande nei primi 15 giorni.

Migrazione gratuita

Migriamo il tuo sito senza interruzioni: non devi fare nulla.

Assistenza 24/7

I nostri esperti sono a tua disposizione 24/7 via ticket e live chat.