Preskoči na sadržaj
(+381) 60 3535 720
Moj račun
BeoHosting
BeoHosting
Moj računKontakt
(+381) 60 3535 720
 

Besplatan SEO alat

Robots.txt Generator - Stvorite Robots.txt

Generirajte pravilno formatiranu robots.txt datoteku za vaš sajt. Odaberite user agente, podesite allow/disallow pravila, navedite sitemap i kontrolirajte kako pretraživači indeksiraju vaš sadržaj.

Kreirajte robots.txtSEO vodič
TL;DR

Kako napraviti robots.txt datoteku za sajt?

Robots.txt Generator stvara pravilno formatiranu datoteku u 4 koraka: 1) Unesite Sitemap URL (npr. https://vasadomena.hr/sitemap.xml) — pomaže pretraživačima da brže otkriju sve stranice. 2) Konfigurirajte User-agent — birajte iz 12 opcija: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, Facebook bot, Twitter bot, plus AI botovi GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Dodajte Disallow putanje (admin, wp-admin, api, login, cart) i Allow iznimke. Opcionalno Crawl-delay (Google ignorira, Bing/Yandex poštuju). 4) Live preview prikazuje generiranu datoteku, klik Kopiraj → zalijepite u public_html/robots.txt. Korisno za: optimizaciju crawl budget-a, blokiranje AI scraping-a (zaštita autorskog sadržaja), sprječavanje indeksiranja duplikata. Robots.txt Generator je 100% besplatan, s drag-friendly vizualnim editorom. BeoHosting također nudi cPanel File Manager za upload od 4,31 €/mj.

  • Vizualni editor s 12 user agenata + AI bot opcije
  • Allow/Disallow/Crawl-delay pravila + Sitemap URL
  • Live preview s kopiranjem jednim klikom
  • BeoHosting cPanel File Manager za upload od 4,31 €/mj

BeoHosting Team

10+ godina iskustva — Stručnjaci za web hosting i infrastrukturu

Posljednje ažuriranje:

Robots.txt Generator

Konfigurirajte pravila za pretraživače i generirajte robots.txt za vaš sajt.

Pravilo #1

/admin//cgi-bin/
Brzo dodaj:

Google ne poštuje crawl-delay. Bing i Yandex ga poštuju.

robots.txt
# robots.txt generated by BeoHosting
# 2026-06-17

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Upute:Kopirajte generirani sadržaj i spremite ga kao robots.txt u root direktoriju vašeg sajta (public_html/). Datoteka mora biti dostupna na vassajt.rs/robots.txt.

Najbolje prakse

Robots.txt - Što trebate znati?

Pravilna konfiguracija robots.txt ključna je za SEO i kontrolu indeksiranja vaše stranice.

Uvijek dodajte Sitemap

Navedite putanju do vaše sitemap.xml datoteke u robots.txt. Ovo pomaže pretraživačima da učinkovitije pronađu i indeksiraju sve stranice vašeg sajta.

Ne blokirajte CSS/JS

Google treba pristup CSS i JavaScript datotekama da bi pravilno renderirao stranicu. Blokiranje ovih resursa može negativno utjecati na SEO rangiranje.

Koristite Allow za iznimke

Ako blokirate direktorij, možete dopustiti pristup specifičnim stranicama unutar njega koristeći Allow direktivu. Allow ima prioritet nad Disallow.

Blokirajte AI botove

Ako ne želite da AI tvrtke koriste vaš sadržaj za treniranje modela, blokirajte GPTBot, Google-Extended, CCBot i anthropic-ai user agente.

Testirajte prije objavljivanja

Koristite Google Search Console alat za testiranje robots.txt prije objavljivanja. Pogrešna konfiguracija može blokirati indeksiranje cijelog sajta.

Ne koristite za zaštitu

robots.txt je samo preporuka - zlonamjerni botovi ga ignoriraju. Ne koristite ga za skrivanje osjetljivih stranica. Koristite lozinku, noindex meta tag ili HTTP autentifikaciju.

Robots.txt Vodič - Kako kontrolirati indeksiranje sajta

Robots.txt je standardna datoteka koju koriste web pretraživači (Google, Bing, Yandex) da bi saznali koje dijelove vašeg sajta smiju posjetiti i indeksirati. Prema Robots Exclusion Protocol-u, svaki dobronamjeran bot će prvo pročitati vaš robots.txt prije nego što počne s crawliranjem.

Pravilna konfiguracija robots.txt je važna za SEO jer pomaže pretraživačima da učinkovitije koriste crawl budget - broj stranica koje Google posjeti pri svakom obilasku vašeg sajta. Blokiranjem nebitnih stranica (admin paneli, rezultati pretrage, korisničke stranice), usmjeravate botove ka najvažnijem sadržaju.

Robots.txt i BeoHosting

Na svim BeoHosting hosting paketima, možete jednostavno kreirati robots.txt datoteku kroz cPanel File Manager. Za WordPress sajtove, robots.txt se može konfigurirati i kroz plugin poput Yoast SEO ili Rank Math. Naš SEO vodič za početnike detaljno pokriva i ovu temu.

Važno je napomenuti da robots.txt nije sigurnosni mehanizam. Zlonamjerni botovi ga ignoriraju. Za pravu zaštitu privatnih stranica, koristite HTTP autentifikaciju, noindex meta tag ili pristup preko lozinke. Robots.txt treba koristiti isključivo za optimizaciju indeksiranja, ne za skrivanje sadržaja.

Povezani alati i usluge

Meta Tag AnalyzerSSL CheckerDNS CheckerGenerator LozinkiBase64 enkoderWHOIS LookupSEO vodičWordPress HostingShared HostingKontakt

Spremni za pokretanje svoje stranice?

SSL zaštita
Brzina
24/7 podrška

Pridružite se 4.000+ zadovoljnih korisnika. Besplatna migracija i 15 dana jamstva povrata novca.

Odaberite paketKontaktirajte nas
15 dana jamstva povrata novca
Besplatna migracija15 dana jamstva24/7 podrška

Često postavljana pitanja - Robots.txt Generator

Odgovori na najčešća pitanja o našim uslugama.

robots.txt je tekstualna datoteka koja se nalazi u root direktoriju vašeg sajta (npr. sajt.hr/robots.txt) i govori pretraživačima (Googlebot, Bingbot) koje stranice smiju, a koje ne smiju posjetiti i indeksirati. To je dio Robots Exclusion Protocol standarda. Bez robots.txt, pretraživači indeksiraju sve dostupne stranice. S njim, možete spriječiti indeksiranje admin stranica, duplikata, privatnih sekcija i nepotrebnih stranica.

Da, direktno i indirektno. Robots.txt pomaže pretraživačima da učinkovitije koriste crawl budget (broj stranica koje bot posjeti po sesiji). Blokiranjem nebitnih stranica (admin, login, filteri), usmjeravate botove ka važnom sadržaju. Također, navođenjem sitemap URL-a ubrzavate otkrivanje novih stranica. Međutim, blokirane stranice se NEĆE ukloniti iz rezultata pretrage - za to koristite noindex meta tag.

Robots.txt mora biti dostupan na vašoj domeni/robots.txt (npr. https://sajt.hr/robots.txt). Na BeoHosting-u: idite u cPanel File Manager, otvorite public_html folder, napravite novu datoteku "robots.txt" i zalijepite generirani sadržaj. Datoteka mora biti u root direktoriju sajta, ne u poddirektoriju. Provjerite da je dostupna otvaranjem URL-a u pregledniku.

Da. Dodajte poseban blok za svaki AI bot s Disallow: / direktivom. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) i anthropic-ai (Anthropic/Claude) poštuju robots.txt. Naš generator ima opciju za sve ove user agente. Ovo sprječava korištenje vašeg sadržaja za treniranje AI modela.

Crawl-delay govori botu koliko sekundi da pričeka između zahtjeva. Koristan je ako imate slab server koji ne može podnijeti intenzivno crawliranje. Google NE poštuje Crawl-delay (koristite Search Console za podešavanje), ali Bing, Yandex i drugi botovi ga poštuju. Za BeoHosting korisnike, crawl-delay obično nije potreban jer naši serveri imaju dovoljno resursa.

Naša jamstva za vaš mir

Zaštićeni ste sa svake strane

15 dana jamstva

Vraćamo novac bez pitanja u prvih 15 dana.

Besplatna migracija

Mi prebacujemo vašu stranicu bez prekida — vi ne radite ništa.

24/7 podrška

Naši stručnjaci su tu 24/7 putem tiketa i live chata.