Kako napraviti robots.txt fajl?

Robots.txt fajl pravite u 4 koraka: 1) Otvorite Robots.txt Generator (besplatan kod BeoHosting-a). 2) Unesite Sitemap URL (npr. https://vasdomen.rs/sitemap.xml). 3) Konfigurisite User-agent (Googlebot, Bingbot, GPTBot, Google-Extended, CCBot, anthropic-ai i 12 drugih), Disallow putanje (/admin/, /wp-admin/, /api/), Allow putanje za izuzetke i opciono Crawl-delay. 4) Klik Kopiraj → nalepite sadržaj u public_html/robots.txt na vašem hostingu. Korisno za: optimizaciju crawl budget-a, blokiranje AI scraping-a (GPTBot, Claude bot), zaštitu admin stranica, sprecavanje indeksiranja duplikata. Robots.txt Generator je 100% besplatan, sa vizuelnim editorom. BeoHosting takođe nudi cPanel File Manager za jednostavan upload od 458 RSD/mes.

Besplatan SEO alat

Robots.txt Generator - Kreirajte Robots.txt

Generisajte pravilno formatiran robots.txt fajl za vaš sajt. Odaberite user agente, podesite allow/disallow pravila, navedite sitemap i kontrolisite kako pretraživači indeksiraju vaš sadržaj.

Kreirajte robots.txt SEO vodič

Robots.txt Generator

Konfigurisite pravila za pretraživače i generisajte robots.txt za vaš sajt.

Sitemap URL

Pravilo #1

User Agent

Disallow (blokirane putanje)

/admin//cgi-bin/

Brzo dodaj:

Allow (dozvoljene putanje)

Crawl-delay (sekunde)

Google ne postuje crawl-delay. Bing i Yandex ga postuju.

robots.txt

# robots.txt generated by BeoHosting
# 2026-04-28

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Uputstvo: Kopirajte generisani sadržaj i sačuvajte ga kao robots.txt u root direktorijumu vašeg sajta (public_html/). Fajl mora biti dostupan na vassajt.rs/robots.txt.

Najbolje prakse

Robots.txt - Šta treba znati?

Pravilna konfiguracija robots.txt je ključna za SEO i kontrolu indeksiranja vašeg sajta.

Uvek dodajte Sitemap

Navedite putanju do vašeg sitemap.xml fajla u robots.txt. Ovo pomaže pretraživačima da efikasnije pronađu i indeksiraju sve stranice vašeg sajta.

Ne blokirajte CSS/JS

Google treba pristup CSS i JavaScript fajlovima da bi pravilno renderovao stranicu. Blokiranje ovih resursa može negativno uticati na SEO rangiranje.

Koristite Allow za izuzetke

Ako blokirate direktorijum, možete dozvoliti pristup specificnim stranicama unutar njega koristeci Allow direktivu. Allow ima prioritet nad Disallow.

Blokirajte AI botove

Ako ne želite da AI kompanije koriste vaš sadržaj za treniranje modela, blokirajte GPTBot, Google-Extended, CCBot i anthropic-ai user agente.

Testirajte pre objavljivanja

Koristite Google Search Console alat za testiranje robots.txt pre objavljivanja. Pogrešna konfiguracija može blokirati indeksiranje celog sajta.

Ne koristite za zaštitu

robots.txt je samo preporuka - zlonamerni botovi ga ignorisu. Ne koristite ga za skrivanje osetljivih stranica. Koristite lozinku, noindex meta tag ili HTTP autentifikaciju.

Robots.txt Vodič - Kako kontrolisati indeksiranje sajta

Robots.txt je standardni fajl koji koriste web pretraživači (Google, Bing, Yandex) da saznaju koje delove vašeg sajta smeju da posete i indeksiraju. Prema Robots Exclusion Protocol-u, svaki dobronameran bot ce prvo procitati vaš robots.txt pre nego što počne sa crawliranjem.

Pravilna konfiguracija robots.txt je važna za SEO jer pomaže pretraživačima da efikasnije koriste crawl budget - broj stranica koje Google poseti pri svakom obilasku vašeg sajta. Blokiranjem nebitnih stranica (admin paneli, rezultati pretrage, korisničke stranice), usmeravate botove ka najvažnijem sadržaju.

Robots.txt i BeoHosting

Na svim BeoHosting hosting paketima, možete jednostavno kreirati robots.txt fajl kroz cPanel File Manager. Za WordPress sajtove, robots.txt se može konfigurisati i kroz plugin poput Yoast SEO ili Rank Math. Naš SEO vodič za početnike detaljno pokriva i ovu temu.

Važno je napomenuti da robots.txt nije bezbednosni mehanizam. Zlonamerni botovi ga ignorisu. Za pravu zaštitu privatnih stranica, koristite HTTP autentifikaciju, noindex meta tag ili pristup preko lozinke. Robots.txt treba koristiti isključivo za optimizaciju indeksiranja, ne za skrivanje sadržaja.

Povezani alati i usluge

Meta Tag Analyzer SSL Checker DNS Checker Generator Lozinki Base64 Enkoder WHOIS Lookup SEO vodič WordPress Hosting Shared Hosting Kontakt

Spremni da pokrenete svoj sajt?

SSL zaštita

Brzina

24/7 podrška

Pridružite se 4.000+ zadovoljnih korisnika u Srbiji. Besplatna migracija i 15 dana garancije povrata novca.

Izaberite paket Kontaktirajte nas

15 dana garancija povrata novca

Besplatna migracija15 dana garancija24/7 podrška

Često postavljana pitanja - Robots.txt Generator

Odgovori na najčešća pitanja o našim uslugama.

robots.txt je tekstualni fajl koji se nalazi u root direktorijumu vašeg sajta (npr. sajt.rs/robots.txt) i govori pretraživačima (Googlebot, Bingbot) koje stranice smeju, a koje ne smeju da posete i indeksiraju. To je deo Robots Exclusion Protocol standarda. Bez robots.txt, pretraživači indeksiraju sve dostupne stranice. Sa njim, možete spreciti indeksiranje admin stranica, duplikata, privatnih sekcija i nepotrebnih stranica.

Da, direktno i indirektno. Robots.txt pomaže pretraživačima da efikasnije koriste crawl budget (broj stranica koje bot posecuje po sesiji). Blokiranjem nebitnih stranica (admin, login, filteri), usmeravate botove ka važnom sadržaju. Takođe, navođenjem sitemap URL-a ubrzavate otkrivanje novih stranica. Međutim, blokirane stranice se NECE ukloniti iz rezultata pretrage - za to koristite noindex meta tag.

Robots.txt mora biti dostupan na vašem domenu/robots.txt (npr. https://sajt.rs/robots.txt). Na BeoHosting-u: idite u cPanel File Manager, otvorite public_html folder, napravite novi fajl "robots.txt" i nalepite generisani sadržaj. Fajl mora biti u root direktorijumu sajta, ne u podfolderu. Proverite da je dostupan otvaranjem URL-a u pregledacu.

Da. Dodajte poseban blok za svaki AI bot sa Disallow: / direktivom. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) i anthropic-ai (Anthropic/Claude) postuju robots.txt. Naš generator ima opciju za sve ove user agente. Ovo sprecava korišćenje vašeg sadržaja za treniranje AI modela.

Crawl-delay govori botu koliko sekundi da saceka između zahteva. Koristan je ako imate slab server koji ne može da podnese intenzivno crawliranje. Google NE postuje Crawl-delay (koristite Search Console za podešavanje), ali Bing, Yandex i drugi botovi ga postuju. Za BeoHosting korisnike, crawl-delay obično nije potreban jer naši serveri imaju dovoljno resursa.

Bez rizika, sa punom podrškom

Vaše zadovoljstvo je naš prioritet.

15 dana garancija

Garancija vraćanja novca bez postavljanja pitanja u prvih 15 dana. Bez rizika.

Besplatna migracija

Besplatno prebacujemo vaš sajt sa starog hostinga. Bez prekida u radu.

24/7 Podrška

Non-stop tehnička podrška na srpskom jeziku putem chata, emaila i telefona.