Herramienta SEO gratuita
Generador de Robots.txt - Crea tu Robots.txt
Genera un archivo robots.txt con el formato correcto para tu sitio. Elige user agents, establece reglas allow/disallow, especifica un sitemap y controla cómo los motores de búsqueda indexan tu contenido.
¿Cómo crear un archivo robots.txt para un sitio?
El Generador de Robots.txt crea un archivo con el formato correcto en 4 pasos: 1) Introduce la URL del Sitemap (por ejemplo, https://tudominio.es/sitemap.xml): ayuda a los motores de búsqueda a descubrir todas las páginas más rápido. 2) Configura el User-agent: elige entre 12 opciones: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, bot de Facebook, bot de Twitter, además de los bots de IA GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Añade rutas Disallow (admin, wp-admin, api, login, cart) y excepciones Allow. Crawl-delay opcional (Google lo ignora, Bing/Yandex lo respetan). 4) La vista previa en vivo muestra el archivo generado, haz clic en Copiar → pégalo en public_html/robots.txt. Útil para: optimizar el crawl budget, bloquear el scraping de IA (protegiendo contenido con derechos de autor), evitar la indexación de duplicados. El Generador de Robots.txt es 100% gratuito, con un editor visual cómodo. BeoHosting también ofrece el Administrador de Archivos de cPanel para subirlo desde 4,31 €/mes.
- Editor visual con 12 user agents + opciones de bots de IA
- Reglas Allow/Disallow/Crawl-delay + URL del Sitemap
- Vista previa en vivo con copia en un clic
- Administrador de Archivos de cPanel de BeoHosting para subirlo desde 4,31 €/mes
BeoHosting Team
10+ godina iskustva — Stručnjaci za web hosting i infrastrukturu
- Web Hosting
- WordPress Hosting
- VPS
- Dedicated Serveri
- Domeni
- SSL
- cPanel
- LiteSpeed
- Linux administracija
- DNS
Poslednje ažurirano:
Robots.txt Generator
Konfigurisite pravila za pretraživače i generisajte robots.txt za vaš sajt.
Pravilo #1
Google ne postuje crawl-delay. Bing i Yandex ga postuju.
# robots.txt generated by BeoHosting # 2026-06-17 User-agent: * Disallow: /admin/ Disallow: /cgi-bin/
Uputstvo:Kopirajte generisani sadržaj i sačuvajte ga kao robots.txt u root direktorijumu vašeg sajta (public_html/). Fajl mora biti dostupan na vassajt.rs/robots.txt.
Robots.txt - Lo que necesitas saber
Una configuración correcta de robots.txt es clave para el SEO y para controlar la indexación de tu sitio.
Añade siempre un Sitemap
Especifica la ruta a tu archivo sitemap.xml en robots.txt. Esto ayuda a los motores de búsqueda a descubrir e indexar todas las páginas de tu sitio de forma más eficiente.
No bloquees CSS/JS
Google necesita acceso a los archivos CSS y JavaScript para renderizar la página correctamente. Bloquear estos recursos puede afectar negativamente al posicionamiento SEO.
Usa Allow para las excepciones
Si bloqueas un directorio, puedes permitir el acceso a páginas específicas dentro de él usando la directiva Allow. Allow tiene prioridad sobre Disallow.
Bloquea los bots de IA
Si no quieres que las empresas de IA utilicen tu contenido para entrenar modelos, bloquea los user agents GPTBot, Google-Extended, CCBot y anthropic-ai.
Prueba antes de publicar
Utiliza la herramienta de prueba de robots.txt de Google Search Console antes de publicar. Una configuración errónea puede bloquear la indexación de todo el sitio.
No lo uses como protección
robots.txt es solo una recomendación: los bots maliciosos lo ignoran. No lo uses para ocultar páginas sensibles. Usa una contraseña, la meta etiqueta noindex o autenticación HTTP.
Guía de Robots.txt - Cómo controlar la indexación del sitio
Robots.txt es un archivo estándar que utilizan los motores de búsqueda web (Google, Bing, Yandex) para saber qué partes de tu sitio pueden visitar e indexar. Según el Robots Exclusion Protocol, todo bot que se comporte correctamente leerá primero tu robots.txt antes de empezar a rastrear.
Una configuración correcta de robots.txt es importante para el SEO porque ayuda a los motores de búsqueda a utilizar de forma eficiente su crawl budget: el número de páginas que Google visita durante cada rastreo de tu sitio. Al bloquear páginas irrelevantes (paneles de administración, resultados de búsqueda, páginas de usuario), diriges a los bots hacia el contenido más importante.
Robots.txt y BeoHosting
En todos los planes de hosting de BeoHosting, puedes crear fácilmente un archivo robots.txt a través del Administrador de Archivos de cPanel. Para sitios WordPress, robots.txt también puede configurarse mediante un plugin como Yoast SEO o Rank Math. Nuestra guía SEO para principiantes trata este tema en detalle.
Es importante señalar que robots.txt no es un mecanismo de seguridad. Los bots maliciosos lo ignoran. Para una protección real de las páginas privadas, utiliza autenticación HTTP, la meta etiqueta noindex o acceso con contraseña. Robots.txt debe utilizarse exclusivamente para optimizar la indexación, no para ocultar contenido.
Herramientas y servicios relacionados
Spremni da pokrenete svoj sajt?
Pridružite se 4.000+ zadovoljnih korisnika. Besplatna migracija i 15 dana garancije povrata novca.
Preguntas frecuentes - Generador de Robots.txt
Odgovori na najčešća pitanja o našim uslugama.
Naše garancije za vaš mir
Zaštićeni ste sa svake strane
15 dana garancije
Vraćamo novac bez pitanja u prvih 15 dana.
Besplatna migracija
Mi prebacimo vaš sajt bez prekida — vi ništa ne radite.
24/7 podrška
Naši stručnjaci su tu 24/7 kroz tikete i live chat.