Cómo crear un archivo robots.txt: guía paso a paso
Para crear un archivo robots.txt, escribe las reglas en un editor de texto, guárdalo como robots.txt en UTF-8 y súbelo a la raíz de tu dominio. Después, compruébalo en el informe de robots.txt de Google Search Console. Así controlas qué rastrean los buscadores sin bloquear por error tus páginas importantes.
Qué es el archivo robots.txt y para qué sirve
El archivo robots.txt es un archivo de texto en la raíz del sitio que indica a los rastreadores qué URL pueden rastrear. Según la introducción de Google a los archivos robots.txt, se usa sobre todo para evitar que las solicitudes de los rastreadores sobrecarguen el sitio. Por eso es una pieza básica del SEO técnico de un sitio web.
Sin embargo, el robots.txt no impide que una página aparezca en Google. La misma guía aclara que una URL bloqueada puede seguir saliendo en los resultados, aunque sin descripción. Para ocultar una página, Google recomienda la etiqueta noindex o la protección con contraseña.
Además, el robots.txt no es una medida de seguridad. El estándar RFC 9309, publicado en septiembre de 2022, recuerda que sus reglas no autorizan ni impiden el acceso. De hecho, ese documento advierte que las rutas listadas en el archivo quedan expuestas al público. Por lo tanto, no conviene usar el robots.txt para esconder áreas privadas.
Dónde va el archivo robots.txt y qué formato debe tener
Google fija cuatro condiciones en su guía Cómo escribir y enviar un archivo robots.txt. El archivo debe llamarse robots.txt, estar en la raíz del host y codificarse en UTF-8. Además, solo puede haber uno por sitio.
En la práctica, la dirección correcta es tudominio.com/robots.txt. En cambio, un archivo dentro de una carpeta, como tudominio.com/blog/robots.txt, no sirve. También hay que tener en cuenta los subdominios: cada host, por ejemplo tienda.tudominio.com, necesita su propio archivo.
Google también fija un límite de tamaño. Según su página sobre cómo interpreta la especificación robots.txt, Google ignora el contenido que supere los 500 KiB. Es decir, un archivo corto y ordenado funciona mejor que una lista enorme de reglas.
Cómo crear un archivo robots.txt paso a paso
Crear el archivo robots.txt no requiere programas especiales. Basta con un editor de texto simple, como el Bloc de notas, y acceso a la raíz del servidor. Este es el proceso:
- Abre un editor de texto. Evita los procesadores de texto, que añaden formato y caracteres invisibles.
- Escribe las reglas. Indica para qué rastreador son y qué rutas bloqueas o permites.
- Guarda el archivo. Ponle el nombre robots.txt y elige la codificación UTF-8.
- Súbelo a la raíz. Usa el gestor de archivos de tu alojamiento o un cliente FTP.
- Comprueba que se ve. Abre tudominio.com/robots.txt en una ventana privada del navegador.
Fuente: Google Search Central, Cómo escribir y enviar un archivo robots.txt; consulta: 26 de octubre de 2026.
Algunos servicios de alojamiento no permiten editar el archivo directamente. Por ejemplo, Google menciona que en plataformas como Wix o Blogger quizá tengas que usar la página de configuración de búsqueda del proveedor. Si no tienes acceso a la raíz, la guía sugiere usar etiquetas meta como alternativa.
Por último, no hace falta enviar el robots.txt a Google. Según la guía oficial, los rastreadores de Google buscan el archivo y empiezan a usarlo de forma automática.
Reglas del robots.txt: User-agent, Disallow, Allow y Sitemap
Cada grupo de reglas empieza con una línea User-agent, que indica a qué rastreador se dirige. Después vienen las líneas Disallow y Allow con las rutas. Así se ve un archivo sencillo para un sitio de comercio electrónico:
User-agent: *
Disallow: /carrito/
Disallow: /buscar/
Allow: /buscar/ayuda/
Sitemap: https://www.tudominio.com/sitemap.xmlEn este ejemplo, todos los rastreadores evitan el carrito y los resultados del buscador interno. Aun así, pueden rastrear la página de ayuda del buscador, porque la regla Allow es más específica.
| Regla | Para qué sirve | Detalle que conviene saber |
|---|---|---|
| User-agent | Indica a qué rastreador se aplica el grupo | El asterisco vale para todos, salvo los rastreadores AdsBot, que se nombran aparte |
| Disallow | Bloquea el rastreo de una ruta | Empieza con una barra; si es un directorio, termina también en barra |
| Allow | Permite una ruta dentro de otra bloqueada | Anula a Disallow cuando es más específica |
| Sitemap | Indica dónde está el mapa del sitio | Debe ser una URL completa; puede haber varias o ninguna |
Comodines y conflictos entre reglas
Google admite dos comodines en las rutas. El asterisco equivale a cero o más caracteres, mientras que el signo de dólar marca el final de la URL. Por ejemplo, Disallow: /*.pdf$ bloquea los archivos que terminan en .pdf.
Cuando dos reglas chocan, Google aplica la más específica según la longitud de la ruta. Si empatan, usa la menos restrictiva. Además, las rutas distinguen entre mayúsculas y minúsculas: /Ofertas/ y /ofertas/ son rutas distintas.
La línea Sitemap ayuda a que los buscadores encuentren tu mapa del sitio. Si todavía no lo tienes, revisa cómo crear un sitemap para tu web.
Cómo probar el robots.txt en Google Search Console
La primera prueba es sencilla: abre tudominio.com/robots.txt en una ventana privada. Si ves el contenido, el archivo es público. Después, usa el informe de robots.txt de Search Console.
Ese informe muestra los archivos que Google encontró para los hosts de tu propiedad. También indica la fecha de la última comprobación y las incidencias de análisis. En concreto, los errores impiden que Google use una regla, mientras que las advertencias no lo impiden.
Si cambias el archivo, puedes pedir un nuevo rastreo desde el mismo informe. Aun así, Google suele guardar el robots.txt en caché durante un máximo de 24 horas, así que los cambios no siempre se aplican al momento. Para revisar una URL concreta, la herramienta de inspección de URLs indica si está bloqueada. Encontrarás esta y otras opciones en nuestra guía de herramientas SEO más útiles.
Errores frecuentes al configurar el robots.txt
El error más grave es bloquear todo el sitio con una sola línea, Disallow: /, olvidada tras una migración. Otros fallos habituales son estos:
- Bloquear archivos de estilo o de código que Google necesita para entender cómo se ve la página.
- Usar Disallow para sacar una página de Google, cuando lo correcto es noindex.
- Incluir la regla crawl-delay, que Google no admite.
- Listar rutas privadas que, en realidad, quedan a la vista de cualquiera.
Los errores del servidor también cuentan. Según Google, un código 4xx, salvo el 429, equivale a no tener robots.txt, así que no se aplica ninguna restricción. En cambio, con un error 5xx, Google deja de rastrear el sitio durante las primeras 12 horas mientras reintenta leer el archivo. Por eso conviene vigilar que el archivo responda bien.
Si tu empresa prefiere delegar esta revisión técnica, una agencia de posicionamiento SEO en El Salvador puede auditar el robots.txt junto con el resto del sitio.
Preguntas frecuentes sobre el archivo robots.txt
¿Dónde se pone el archivo robots.txt?
En la raíz del host, de modo que se abra en tudominio.com/robots.txt. Si lo guardas dentro de una carpeta, los rastreadores no lo tendrán en cuenta. Además, cada subdominio necesita su propio archivo, porque Google lo trata como un host distinto. Solo puede haber un robots.txt por sitio y debe estar codificado en UTF-8.
¿El robots.txt sirve para que una página no salga en Google?
No. El robots.txt controla el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados de Google, aunque sin descripción. Para que una página no aparezca, Google recomienda la etiqueta noindex o proteger la página con contraseña. Por eso, el robots.txt no sirve para retirar contenido de los resultados.
¿Cómo sé si mi robots.txt funciona bien?
Primero, abre tudominio.com/robots.txt en una ventana privada para confirmar que es público. Luego, revisa el informe de robots.txt de Google Search Console, que muestra la fecha de la última comprobación, los errores y las advertencias. Para una página concreta, la herramienta de inspección de URLs indica si el archivo la bloquea.
¿Tengo que enviar el robots.txt a Google?
No. Los rastreadores de Google encuentran el archivo robots.txt y empiezan a usarlo automáticamente. Si lo modificas y quieres acelerar la lectura, el informe de robots.txt de Search Console permite solicitar un nuevo rastreo. Aun así, Google suele guardar el archivo en caché hasta 24 horas, de modo que el cambio puede tardar en aplicarse.
¿Qué pasa si mi web no tiene archivo robots.txt?
Google rastrea el sitio sin restricciones. Cuando el archivo devuelve un error 4xx, salvo el 429, Google actúa como si no existiera un robots.txt válido. Para una web pequeña sin zonas que excluir, eso no suele ser un problema. Sin embargo, el archivo sigue siendo útil para indicar la dirección del sitemap.
¿Google respeta la regla crawl-delay del robots.txt?
No. Google no admite la regla crawl-delay y la ignora al leer el archivo. Solo interpreta los campos user-agent, allow, disallow y sitemap. Si los rastreadores de Google sobrecargan tu servidor, la solución pasa por otras vías, como revisar la capacidad del alojamiento o qué secciones generan demasiadas URL rastreables.
