Preskoči na sadržaj
(+381) 60 3535 720
Moj nalog
BeoHosting
BeoHosting
Moj nalogKontakt
(+381) 60 3535 720
 

Brezplačno SEO orodje

Robots.txt Generator - Ustvarite Robots.txt

Generirajte pravilno formatirano robots.txt datoteko za vašo spletno stran. Izberite user agente, nastavite allow/disallow pravila, navedite sitemap in kontrolirajte, kako iskalniki indeksirajo vašo vsebino.

Ustvarite robots.txtSEO vodnik
TL;DR

Kako narediti robots.txt datoteko za spletno stran?

Robots.txt Generator ustvari pravilno formatirano datoteko v 4 korakih: 1) Vnesite Sitemap URL (npr. https://vasadomena.si/sitemap.xml) — pomaga iskalnikom hitreje odkriti vse strani. 2) Konfigurirajte User-agent — izbirajte med 12 možnostmi: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, Facebook bot, Twitter bot, plus AI boti GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Dodajte Disallow poti (admin, wp-admin, api, login, cart) in Allow izjeme. Opcijsko Crawl-delay (Google ignorira, Bing/Yandex spoštujejo). 4) Predogled v živo prikazuje generirano datoteko, klik Kopiraj → prilepite v public_html/robots.txt. Uporabno za: optimizacijo crawl budget-a, blokiranje AI scraping-a (zaščita avtorske vsebine), preprečevanje indeksiranja podvojene vsebine. Robots.txt Generator je 100% brezplačen z drag-friendly vizualnim urejevalnikom. BeoHosting ponuja tudi cPanel File Manager za nalaganje od 4,31 €/mes.

  • Vizualni urejevalnik z 12 user agenti + AI bot možnosti
  • Allow/Disallow/Crawl-delay pravila + Sitemap URL
  • Predogled v živo s kopiranjem z enim klikom
  • BeoHosting cPanel File Manager za nalaganje od 4,31 €/mes

BeoHosting Team

10+ godina iskustva — Stručnjaci za web hosting i infrastrukturu

Poslednje ažurirano:

Robots.txt Generator

Konfigurisite pravila za pretraživače i generisajte robots.txt za vaš sajt.

Pravilo #1

/admin//cgi-bin/
Brzo dodaj:

Google ne postuje crawl-delay. Bing i Yandex ga postuju.

robots.txt
# robots.txt generated by BeoHosting
# 2026-06-17

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Uputstvo:Kopirajte generisani sadržaj i sačuvajte ga kao robots.txt u root direktorijumu vašeg sajta (public_html/). Fajl mora biti dostupan na vassajt.rs/robots.txt.

Najboljše prakse

Robots.txt - Kaj morate vedeti?

Pravilna konfiguracija robots.txt je ključna za SEO in kontrolo indeksiranja vaše spletne strani.

Vedno dodajte Sitemap

Navedite pot do vaše sitemap.xml datoteke v robots.txt. To pomaga iskalnikom učinkoviteje najti in indeksirati vse strani vaše spletne strani.

Ne blokirajte CSS/JS

Google potrebuje dostop do CSS in JavaScript datotek, da lahko pravilno upodobi stran. Blokiranje teh virov lahko negativno vpliva na SEO rangiranje.

Uporabite Allow za izjeme

Če blokirate imenik, lahko z Allow direktivo dovolite dostop do določenih strani znotraj njega. Allow ima prednost pred Disallow.

Blokirajte AI bote

Če ne želite, da AI podjetja uporabljajo vašo vsebino za treniranje modelov, blokirajte GPTBot, Google-Extended, CCBot in anthropic-ai user agente.

Testirajte pred objavo

Pred objavo uporabite orodje Google Search Console za testiranje robots.txt. Napačna konfiguracija lahko blokira indeksiranje celotne spletne strani.

Ne uporabljajte za zaščito

robots.txt je le priporočilo - zlonamerni boti ga ignorirajo. Ne uporabljajte ga za skrivanje občutljivih strani. Uporabite geslo, noindex meta oznako ali HTTP avtentikacijo.

Robots.txt vodnik - Kako nadzirati indeksiranje spletne strani

Robots.txt je standardna datoteka, ki jo spletni iskalniki (Google, Bing, Yandex) uporabljajo, da izvedo, katere dele vaše spletne strani lahko obiščejo in indeksirajo. Po Robots Exclusion Protocolu vsak dobronameren bot najprej prebere vaš robots.txt, preden začne s crawlanjem.

Pravilna konfiguracija robots.txt je pomembna za SEO, ker pomaga iskalnikom učinkovito uporabljati crawl budget - število strani, ki jih Google obišče pri vsakem obhodu vaše spletne strani. Z blokiranjem nepomembnih strani (admin paneli, rezultati iskanja, uporabniške strani) usmerjate bote k najpomembnejši vsebini.

Robots.txt in BeoHosting

Na vseh paketih gostovanja BeoHosting lahko enostavno ustvarite robots.txt datoteko prek cPanel File Managerja. Za WordPress spletne strani je mogoče robots.txt konfigurirati tudi prek vtičnika, kot je Yoast SEO ali Rank Math. Naš SEO vodnik za začetnike podrobno obravnava to temo.

Pomembno je opozoriti, da robots.txt ni varnostni mehanizem. Zlonamerni boti ga ignorirajo. Za pravo zaščito zasebnih strani uporabite HTTP avtentikacijo, noindex meta oznako ali dostop z geslom. Robots.txt naj se uporablja izključno za optimizacijo indeksiranja, ne za skrivanje vsebine.

Povezana orodja in storitve

Meta Tag AnalyzerSSL CheckerDNS CheckerGenerator geselBase64 kodirnikWHOIS LookupSEO vodnikWordPress HostingShared HostingKontakt

Spremni da pokrenete svoj sajt?

SSL zaštita
Brzina
24/7 podrška

Pridružite se 4.000+ zadovoljnih korisnika. Besplatna migracija i 15 dana garancije povrata novca.

Izaberite paketKontaktirajte nas
15 dana garancija povrata novca
Besplatna migracija15 dana garancija24/7 podrška

Pogosto zastavljena vprašanja - Robots.txt Generator

Odgovori na najčešća pitanja o našim uslugama.

robots.txt je tekstovna datoteka, ki se nahaja v korenskem imeniku vaše spletne strani (npr. stran.si/robots.txt) in pove iskalnikom (Googlebot, Bingbot), katere strani smejo in ne smejo obiskati in indeksirati. To je del standarda Robots Exclusion Protocol. Brez robots.txt iskalniki indeksirajo vse dostopne strani. Z njim lahko preprečite indeksiranje admin strani, podvojenih, zasebnih sekcij in nepotrebnih strani.

Da, neposredno in posredno. Robots.txt pomaga iskalnikom učinkovito uporabljati crawl budget (število strani, ki jih bot obišče na sejo). Z blokiranjem nepomembnih strani (admin, login, filtri) usmerjate bote k pomembni vsebini. Tudi navedba sitemap URL-ja pospeši odkrivanje novih strani. Vendar blokirane strani NE bodo odstranjene iz rezultatov iskanja - za to uporabite noindex meta oznako.

Robots.txt mora biti dostopen na vaši domeni/robots.txt (npr. https://stran.si/robots.txt). Na BeoHosting-u: pojdite v cPanel File Manager, odprite mapo public_html, ustvarite novo datoteko "robots.txt" in prilepite generirano vsebino. Datoteka mora biti v korenskem imeniku spletne strani, ne v podmapi. Preverite, ali je dostopna z odpiranjem URL-ja v brskalniku.

Da. Dodajte poseben blok za vsak AI bot z direktivo Disallow: /. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) in anthropic-ai (Anthropic/Claude) spoštujejo robots.txt. Naš generator ima možnost za vse te user agente. To prepreči uporabo vaše vsebine za treniranje AI modelov.

Crawl-delay botu pove, koliko sekund naj počaka med zahtevki. Uporaben je, če imate šibek strežnik, ki ne more obravnavati intenzivnega crawlanja. Google NE spoštuje Crawl-delay (za prilagoditev uporabite Search Console), Bing, Yandex in drugi boti pa ga spoštujejo. Za BeoHosting stranke crawl-delay običajno ni potreben, ker naši strežniki imajo dovolj virov.

Naše garancije za vaš mir

Zaštićeni ste sa svake strane

15 dana garancije

Vraćamo novac bez pitanja u prvih 15 dana.

Besplatna migracija

Mi prebacimo vaš sajt bez prekida — vi ništa ne radite.

24/7 podrška

Naši stručnjaci su tu 24/7 kroz tikete i live chat.