Herramienta SEO gratuita
Generador de Robots.txt - Crea tu Robots.txt
Genera un archivo robots.txt con el formato correcto para tu sitio. Elige user agents, establece reglas allow/disallow, especifica un sitemap y controla cómo los motores de búsqueda indexan tu contenido.
¿Cómo crear un archivo robots.txt para un sitio?
El Generador de Robots.txt crea un archivo con el formato correcto en 4 pasos: 1) Introduce la URL del Sitemap (por ejemplo, https://tudominio.es/sitemap.xml): ayuda a los motores de búsqueda a descubrir todas las páginas más rápido. 2) Configura el User-agent: elige entre 12 opciones: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, bot de Facebook, bot de Twitter, además de los bots de IA GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Añade rutas Disallow (admin, wp-admin, api, login, cart) y excepciones Allow. Crawl-delay opcional (Google lo ignora, Bing/Yandex lo respetan). 4) La vista previa en vivo muestra el archivo generado, haz clic en Copiar → pégalo en public_html/robots.txt. Útil para: optimizar el crawl budget, bloquear el scraping de IA (protegiendo contenido con derechos de autor), evitar la indexación de duplicados. El Generador de Robots.txt es 100% gratuito, con un editor visual cómodo. BeoHosting también ofrece el Administrador de Archivos de cPanel para subirlo desde 4,31 €/mes.
- Editor visual con 12 user agents + opciones de bots de IA
- Reglas Allow/Disallow/Crawl-delay + URL del Sitemap
- Vista previa en vivo con copia en un clic
- Administrador de Archivos de cPanel de BeoHosting para subirlo desde 4,31 €/mes
BeoHosting Team
10+ años de experiencia — Especialistas en alojamiento web e infraestructura
- Web Hosting
- WordPress Hosting
- VPS
- Servidores dedicados
- Dominios
- SSL
- cPanel
- LiteSpeed
- Administración de Linux
- DNS
Última actualización:
Generador de Robots.txt
Configura las reglas para los motores de búsqueda y genera el robots.txt de tu sitio.
Regla #1
Google no respeta el crawl-delay. Bing y Yandex sí.
# robots.txt generated by BeoHosting # 2026-08-02 User-agent: * Disallow: /admin/ Disallow: /cgi-bin/
Instrucciones:Copia el contenido generado y guárdalo como robots.txt en el directorio raíz de tu sitio (public_html/). El archivo debe ser accesible en yoursite.com/robots.txt.
Robots.txt - Lo que necesitas saber
Una configuración correcta de robots.txt es clave para el SEO y para controlar la indexación de tu sitio.
Añade siempre un Sitemap
Especifica la ruta a tu archivo sitemap.xml en robots.txt. Esto ayuda a los motores de búsqueda a descubrir e indexar todas las páginas de tu sitio de forma más eficiente.
No bloquees CSS/JS
Google necesita acceso a los archivos CSS y JavaScript para renderizar la página correctamente. Bloquear estos recursos puede afectar negativamente al posicionamiento SEO.
Usa Allow para las excepciones
Si bloqueas un directorio, puedes permitir el acceso a páginas específicas dentro de él usando la directiva Allow. Allow tiene prioridad sobre Disallow.
Bloquea los bots de IA
Si no quieres que las empresas de IA utilicen tu contenido para entrenar modelos, bloquea los user agents GPTBot, Google-Extended, CCBot y anthropic-ai.
Prueba antes de publicar
Utiliza la herramienta de prueba de robots.txt de Google Search Console antes de publicar. Una configuración errónea puede bloquear la indexación de todo el sitio.
No lo uses como protección
robots.txt es solo una recomendación: los bots maliciosos lo ignoran. No lo uses para ocultar páginas sensibles. Usa una contraseña, la meta etiqueta noindex o autenticación HTTP.
Guía de Robots.txt - Cómo controlar la indexación del sitio
Robots.txt es un archivo estándar que utilizan los motores de búsqueda web (Google, Bing, Yandex) para saber qué partes de tu sitio pueden visitar e indexar. Según el Robots Exclusion Protocol, todo bot que se comporte correctamente leerá primero tu robots.txt antes de empezar a rastrear.
Una configuración correcta de robots.txt es importante para el SEO porque ayuda a los motores de búsqueda a utilizar de forma eficiente su crawl budget: el número de páginas que Google visita durante cada rastreo de tu sitio. Al bloquear páginas irrelevantes (paneles de administración, resultados de búsqueda, páginas de usuario), diriges a los bots hacia el contenido más importante.
Robots.txt y BeoHosting
En todos los planes de hosting de BeoHosting, puedes crear fácilmente un archivo robots.txt a través del Administrador de Archivos de cPanel. Para sitios WordPress, robots.txt también puede configurarse mediante un plugin como Yoast SEO o Rank Math. Nuestra guía SEO para principiantes trata este tema en detalle.
Es importante señalar que robots.txt no es un mecanismo de seguridad. Los bots maliciosos lo ignoran. Para una protección real de las páginas privadas, utiliza autenticación HTTP, la meta etiqueta noindex o acceso con contraseña. Robots.txt debe utilizarse exclusivamente para optimizar la indexación, no para ocultar contenido.
Herramientas y servicios relacionados
¿Listo para lanzar tu sitio web?
Únete a más de 4.000 clientes satisfechos. Migración gratuita y garantía de devolución de 15 días.
Preguntas frecuentes - Generador de Robots.txt
Respuestas a las preguntas más habituales sobre nuestros servicios.
Nuestras garantías para tu tranquilidad
Protegido desde todos los ángulos
Garantía de 15 días
Te devolvemos el dinero sin preguntas durante los primeros 15 días.
Migración gratuita
Migramos tu sitio sin interrupciones: tú no tienes que hacer nada.
Soporte 24/7
Nuestros expertos están disponibles 24/7 por tickets y chat en vivo.