Preskoči na sadržaj
(+381) 60 3535 720
Moj nalog
BeoHosting
BeoHosting
Moj nalogKontakt
(+381) 60 3535 720
 

Besplatan SEO alat

Robots.txt Generator - Kreirajte Robots.txt

Generisajte pravilno formatiran robots.txt fajl za vaš sajt. Odaberite user agente, podesite allow/disallow pravila, navedite sitemap i kontrolisite kako pretraživači indeksiraju vaš sadržaj.

Kreirajte robots.txtSEO vodič
TL;DR

Kako napraviti robots.txt fajl za sajt?

Robots.txt Generator pravi pravilno formatiran fajl u 4 koraka: 1) Unesite Sitemap URL (npr. https://vasdomen.me/sitemap.xml) — pomaže pretraživačima da brže otkriju sve stranice. 2) Konfigurisite User-agent — birajte iz 12 opcija: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, Facebook bot, Twitter bot, plus AI botovi GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Dodajte Disallow putanje (admin, wp-admin, api, login, cart) i Allow izuzetke. Opciono Crawl-delay (Google ignoriše, Bing/Yandex postuju). 4) Live preview prikazuje generisani fajl, klik Kopiraj → nalepite u public_html/robots.txt. Korisno za: optimizaciju crawl budget-a, blokiranje AI scraping-a (zaštita autorskog sadržaja), sprječavanje indeksiranja duplikata. Robots.txt Generator je 100% besplatan, sa drag-friendly vizuelnim editorom. BeoHosting takođe nudi cPanel File Manager za upload od 4,31 €/mj.

  • Vizuelni editor sa 12 user agenata + AI bot opcije
  • Allow/Disallow/Crawl-delay pravila + Sitemap URL
  • Live preview sa kopiranje-jednim-klikom
  • BeoHosting cPanel File Manager za upload od 4,31 €/mj

BeoHosting Team

10+ godina iskustva — Stručnjaci za web hosting i infrastrukturu

Posljednje ažurirano:

Robots.txt Generator

Konfigurisite pravila za pretraživače i generisajte robots.txt za vaš sajt.

Pravilo #1

/admin//cgi-bin/
Brzo dodaj:

Google ne postuje crawl-delay. Bing i Yandex ga postuju.

robots.txt
# robots.txt generated by BeoHosting
# 2026-06-17

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Uputstvo:Kopirajte generisani sadržaj i sačuvajte ga kao robots.txt u root direktorijumu vašeg sajta (public_html/). Fajl mora biti dostupan na vassajt.rs/robots.txt.

Najbolje prakse

Robots.txt - Šta treba znati?

Pravilna konfiguracija robots.txt je ključna za SEO i kontrolu indeksiranja vašeg sajta.

Uvijek dodajte Sitemap

Navedite putanju do vašeg sitemap.xml fajla u robots.txt. Ovo pomaže pretraživačima da efikasnije pronađu i indeksiraju sve stranice vašeg sajta.

Ne blokirajte CSS/JS

Google treba pristup CSS i JavaScript fajlovima da bi pravilno renderovao stranicu. Blokiranje ovih resursa može negativno uticati na SEO rangiranje.

Koristite Allow za izuzetke

Ako blokirate direktorijum, možete dozvoliti pristup specifičnim stranicama unutar njega koristeći Allow direktivu. Allow ima prioritet nad Disallow.

Blokirajte AI botove

Ako ne želite da AI kompanije koriste vaš sadržaj za treniranje modela, blokirajte GPTBot, Google-Extended, CCBot i anthropic-ai user agente.

Testirajte prije objavljivanja

Koristite Google Search Console alat za testiranje robots.txt prije objavljivanja. Pogrešna konfiguracija može blokirati indeksiranje cijelog sajta.

Ne koristite za zaštitu

robots.txt je samo preporuka - zlonamjerni botovi ga ignorisu. Ne koristite ga za skrivanje osetljivih stranica. Koristite lozinku, noindex meta tag ili HTTP autentifikaciju.

Robots.txt Vodič - Kako kontrolisati indeksiranje sajta

Robots.txt je standardni fajl koji koriste web pretraživači (Google, Bing, Yandex) da saznaju koje dijelove vašeg sajta smeju da posete i indeksiraju. Prema Robots Exclusion Protocol-u, svaki dobronameran bot će prvo pročitati vaš robots.txt prije nego što počne sa crawliranjem.

Pravilna konfiguracija robots.txt je važna za SEO jer pomaže pretraživačima da efikasnije koriste crawl budget - broj stranica koje Google posjeti pri svakom obilasku vašeg sajta. Blokiranjem nebitnih stranica (admin paneli, rezultati pretrage, korisničke stranice), usmeravate botove ka najvažnijem sadržaju.

Robots.txt i BeoHosting

Na svim BeoHosting hosting paketima, možete jednostavno kreirati robots.txt fajl kroz cPanel File Manager. Za WordPress sajtove, robots.txt se može konfigurisati i kroz plugin poput Yoast SEO ili Rank Math. Naš SEO vodič za početnike detaljno pokriva i ovu temu.

Važno je napomenuti da robots.txt nije bezbjednosni mehanizam. Zlonamerni botovi ga ignorisu. Za pravu zaštitu privatnih stranica, koristite HTTP autentifikaciju, noindex meta tag ili pristup preko lozinke. Robots.txt treba koristiti isključivo za optimizaciju indeksiranja, ne za skrivanje sadržaja.

Povezani alati i usluge

Meta Tag AnalyzerSSL CheckerDNS CheckerGenerator LozinkiBase64 EnkoderWHOIS LookupSEO vodičWordPress HostingShared HostingKontakt

Spremni da pokrenete svoj sajt?

SSL zaštita
Brzina
24/7 podrška

Pridružite se 4.000+ zadovoljnih korisnika. Besplatna migracija i 15 dana garancije povrata novca.

Izaberite paketKontaktirajte nas
15 dana garancija povrata novca
Besplatna migracija15 dana garancija24/7 podrška

Često postavljana pitanja - Robots.txt Generator

Odgovori na najčešća pitanja o našim uslugama.

robots.txt je tekstualni fajl koji se nalazi u root direktorijumu vašeg sajta (npr. sajt.me/robots.txt) i govori pretraživačima (Googlebot, Bingbot) koje stranice smeju, a koje ne smeju da posete i indeksiraju. To je dio Robots Exclusion Protocol standarda. Bez robots.txt, pretraživači indeksiraju sve dostupne stranice. Sa njim, možete spreciti indeksiranje admin stranica, duplikata, privatnih sekcija i nepotrebnih stranica.

Da, direktno i indirektno. Robots.txt pomaže pretraživačima da efikasnije koriste crawl budget (broj stranica koje bot posjećuje po sesiji). Blokiranjem nebitnih stranica (admin, login, filteri), usmeravate botove ka važnom sadržaju. Takođe, navođenjem sitemap URL-a ubrzavate otkrivanje novih stranica. Međutim, blokirane stranice se NECE ukloniti iz rezultata pretrage - za to koristite noindex meta tag.

Robots.txt mora biti dostupan na vašem domenu/robots.txt (npr. https://sajt.me/robots.txt). Na BeoHosting-u: idite u cPanel File Manager, otvorite public_html folder, napravite novi fajl „robots.txt“ i nalepite generisani sadržaj. Fajl mora biti u root direktorijumu sajta, ne u podfolderu. Provjerite da je dostupan otvaranjem URL-a u pregledaču.

Da. Dodajte poseban blok za svaki AI bot sa Disallow: / direktivom. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) i anthropic-ai (Anthropic/Claude) postuju robots.txt. Naš generator ima opciju za sve ove user agente. Ovo sprecava korišćenje vašeg sadržaja za treniranje AI modela.

Crawl-delay govori botu koliko sekundi da sačeka između zahtjeva. Koristan je ako imate slab server koji ne može da podnese intenzivno crawliranje. Google NE postuje Crawl-delay (koristite Search Console za podešavanje), ali Bing, Yandex i drugi botovi ga postuju. Za BeoHosting korisnike, crawl-delay obično nije potreban jer naši serveri imaju dovoljno resursa.

Naše garancije za vaš mir

Zaštićeni ste sa svake strane

15 dana garancije

Vraćamo novac bez pitanja u prvih 15 dana.

Besplatna migracija

Mi prebacimo vaš sajt bez prekida — vi ništa ne radite.

24/7 podrška

Naši stručnjaci su tu 24/7 kroz tikete i live chat.