Preskoči na sadržaj
(+381) 60 3535 720
Moj nalog
BeoHosting
BeoHosting
Moj nalogKontakt
(+381) 60 3535 720
 

Strumento SEO gratuito

Generatore Robots.txt - Crea il tuo Robots.txt

Genera un file robots.txt formattato correttamente per il tuo sito. Scegli gli user agent, imposta le regole allow/disallow, specifica una sitemap e controlla come i motori di ricerca indicizzano i tuoi contenuti.

Crea robots.txtGuida SEO
TL;DR

Come creare un file robots.txt per un sito?

Il Generatore Robots.txt crea un file formattato correttamente in 4 passaggi: 1) Inserisci l'URL della Sitemap (es. https://tuodominio.it/sitemap.xml): aiuta i motori di ricerca a scoprire più velocemente tutte le pagine. 2) Configura lo User-agent: scegli tra 12 opzioni: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, bot di Facebook, bot di Twitter, più i bot AI GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Aggiungi i percorsi Disallow (admin, wp-admin, api, login, cart) e le eccezioni Allow. Crawl-delay opzionale (Google lo ignora, Bing/Yandex lo rispettano). 4) L'anteprima dal vivo mostra il file generato, clicca su Copia → incolla in public_html/robots.txt. Utile per: ottimizzare il crawl budget, bloccare lo scraping AI (proteggendo i contenuti protetti da copyright), evitare l'indicizzazione duplicata. Il Generatore Robots.txt è 100% gratuito, con un editor visuale intuitivo. BeoHosting offre anche il File Manager di cPanel per il caricamento, a partire da 4,31 €/mese.

  • Editor visuale con 12 user agent + opzioni per i bot AI
  • Regole Allow/Disallow/Crawl-delay + URL della Sitemap
  • Anteprima dal vivo con copia in un clic
  • File Manager di cPanel BeoHosting per il caricamento, a partire da 4,31 €/mese

BeoHosting Team

10+ godina iskustva — Stručnjaci za web hosting i infrastrukturu

Poslednje ažurirano:

Robots.txt Generator

Konfigurisite pravila za pretraživače i generisajte robots.txt za vaš sajt.

Pravilo #1

/admin//cgi-bin/
Brzo dodaj:

Google ne postuje crawl-delay. Bing i Yandex ga postuju.

robots.txt
# robots.txt generated by BeoHosting
# 2026-06-17

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Uputstvo:Kopirajte generisani sadržaj i sačuvajte ga kao robots.txt u root direktorijumu vašeg sajta (public_html/). Fajl mora biti dostupan na vassajt.rs/robots.txt.

Best practice

Robots.txt - Quello che devi sapere

Una corretta configurazione del robots.txt è fondamentale per la SEO e per controllare l'indicizzazione del tuo sito.

Aggiungi sempre una Sitemap

Specifica il percorso del tuo file sitemap.xml nel robots.txt. Questo aiuta i motori di ricerca a scoprire e indicizzare in modo più efficiente tutte le pagine del tuo sito.

Non bloccare CSS/JS

Google ha bisogno di accedere ai file CSS e JavaScript per renderizzare correttamente la pagina. Bloccare queste risorse può incidere negativamente sul ranking SEO.

Usa Allow per le eccezioni

Se blocchi una directory, puoi consentire l'accesso a pagine specifiche al suo interno usando la direttiva Allow. Allow ha la priorità su Disallow.

Blocca i bot AI

Se non vuoi che le aziende AI usino i tuoi contenuti per addestrare i modelli, blocca gli user agent GPTBot, Google-Extended, CCBot e anthropic-ai.

Testa prima di pubblicare

Usa lo strumento di test del robots.txt di Google Search Console prima di pubblicare. Una configurazione errata può bloccare l'indicizzazione dell'intero sito.

Non usarlo per la protezione

robots.txt è solo una raccomandazione: i bot malevoli lo ignorano. Non usarlo per nascondere pagine sensibili. Usa una password, il meta tag noindex o l'autenticazione HTTP.

Guida al Robots.txt - Come controllare l'indicizzazione del sito

Robots.txt è un file standard usato dai motori di ricerca (Google, Bing, Yandex) per sapere quali parti del tuo sito possono visitare e indicizzare. Secondo il Robots Exclusion Protocol, ogni bot ben configurato legge per primo il tuo robots.txt prima di iniziare la scansione.

Una corretta configurazione del robots.txt è importante per la SEO perché aiuta i motori di ricerca a usare in modo efficiente il loro crawl budget, ovvero il numero di pagine che Google visita a ogni scansione del tuo sito. Bloccando le pagine irrilevanti (pannelli di amministrazione, risultati di ricerca, pagine utente), indirizzi i bot verso i contenuti più importanti.

Robots.txt e BeoHosting

Su tutti i piani di hosting BeoHosting puoi creare facilmente un file robots.txt tramite il File Manager di cPanel. Per i siti WordPress, robots.txt può essere configurato anche tramite un plugin come Yoast SEO o Rank Math. La nostra guida SEO per principianti tratta questo argomento in dettaglio.

È importante sottolineare che robots.txt non è un meccanismo di sicurezza. I bot malevoli lo ignorano. Per una reale protezione delle pagine private, usa l'autenticazione HTTP, il meta tag noindex o l'accesso tramite password. Robots.txt va usato esclusivamente per ottimizzare l'indicizzazione, non per nascondere contenuti.

Strumenti e servizi correlati

Meta Tag AnalyzerSSL CheckerDNS CheckerGenerator LozinkiBase64 EnkoderWHOIS LookupSEO vodičWordPress HostingShared HostingKontakt

Spremni da pokrenete svoj sajt?

SSL zaštita
Brzina
24/7 podrška

Pridružite se 4.000+ zadovoljnih korisnika. Besplatna migracija i 15 dana garancije povrata novca.

Izaberite paketKontaktirajte nas
15 dana garancija povrata novca
Besplatna migracija15 dana garancija24/7 podrška

Domande frequenti - Generatore Robots.txt

Odgovori na najčešća pitanja o našim uslugama.

robots.txt è un file di testo che si trova nella directory principale del tuo sito (es. sito.com/robots.txt) e indica ai motori di ricerca (Googlebot, Bingbot) quali pagine possono e non possono visitare e indicizzare. Fa parte dello standard Robots Exclusion Protocol. Senza robots.txt, i motori di ricerca indicizzano tutte le pagine accessibili. Con esso, puoi impedire l'indicizzazione di pagine di amministrazione, duplicati, sezioni private e pagine non necessarie.

Sì, in modo diretto e indiretto. Robots.txt aiuta i motori di ricerca a usare in modo efficiente il crawl budget (il numero di pagine che un bot visita per sessione). Bloccando le pagine irrilevanti (admin, login, filtri), indirizzi i bot verso i contenuti importanti. Inoltre, specificare l'URL della sitemap velocizza la scoperta di nuove pagine. Tuttavia, le pagine bloccate NON verranno rimosse dai risultati di ricerca: per quello usa il meta tag noindex.

Robots.txt deve essere accessibile all'indirizzo tuodominio/robots.txt (es. https://sito.com/robots.txt). Su BeoHosting: vai nel File Manager di cPanel, apri la cartella public_html, crea un nuovo file "robots.txt" e incolla il contenuto generato. Il file deve trovarsi nella directory principale del sito, non in una sottocartella. Verifica che sia accessibile aprendo l'URL nel browser.

Sì. Aggiungi un blocco separato per ogni bot AI con una direttiva Disallow: /. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) e anthropic-ai (Anthropic/Claude) rispettano il robots.txt. Il nostro generatore offre un'opzione per tutti questi user agent. In questo modo eviti che i tuoi contenuti vengano usati per addestrare i modelli AI.

Il Crawl-delay indica al bot quanti secondi attendere tra una richiesta e l'altra. È utile se hai un server poco potente che non regge una scansione intensa. Google NON rispetta il Crawl-delay (usa Search Console per regolarlo), ma Bing, Yandex e altri bot sì. Per i clienti BeoHosting il crawl-delay di solito non è necessario, perché i nostri server dispongono di risorse sufficienti.

Naše garancije za vaš mir

Zaštićeni ste sa svake strane

15 dana garancije

Vraćamo novac bez pitanja u prvih 15 dana.

Besplatna migracija

Mi prebacimo vaš sajt bez prekida — vi ništa ne radite.

24/7 podrška

Naši stručnjaci su tu 24/7 kroz tikete i live chat.