Generador de Robots.txt

Introduce el origen de tu sitio web si quieres utilizar la sugerencia de sitemap.

Selecciona Todos los rastreadores, Googlebot o Bingbot.

Añade reglas de ruta Allow y Disallow o empieza con una configuración predefinida.

Revisa las rutas y corrige los errores de validación.

Añade una URL de sitemap opcional. Si el campo está vacío, comprueba la URL sugerida a partir del origen del sitio.

Configura un Crawl-delay opcional si lo necesitas y tu rastreador lo admite.

Previsualiza el contenido generado de robots.txt.

Copia el texto o descarga el archivo como robots.txt.

También puedes cargar un ejemplo para ver cómo funcionan las directivas o borrar el formulario para empezar de nuevo.

Crea un archivo robots.txt para tu sitio web con este generador online gratuito. Elige a qué rastreadores se aplican las reglas, añade rutas Allow y Disallow, incluye la URL de tu sitemap y configura un retraso de rastreo opcional. Previsualiza las directivas generadas, copia el texto o descarga el archivo como robots.txt.

Un archivo robots.txt bien configurado ayuda a comunicar a los rastreadores qué partes de un sitio web pueden o no deben solicitar.

Un archivo robots.txt es un documento de texto sin formato que indica a los rastreadores web qué URL pueden o no deben visitar en un sitio web.

Forma parte del Protocolo de Exclusión de Robots. Los motores de búsqueda y otros rastreadores pueden consultar este archivo antes de rastrear las páginas de un sitio.

Debe colocarse en la raíz del nombre de host correspondiente. Por ejemplo:

https://example.com/robots.txt

Un archivo situado en https://example.com/blog/robots.txt no controla el rastreo de todo el sitio example.com. Los subdominios también necesitan su propio archivo robots.txt.

Un archivo robots.txt utiliza directivas para indicar preferencias de rastreo. El generador admite las siguientes.

User-agent

La directiva User-agent identifica el rastreador al que se aplican las reglas siguientes.

Ejemplos habituales:

User-agent: *

User-agent: Googlebot

User-agent: Bingbot

* se aplica a todos los rastreadores que siguen el Protocolo de Exclusión de Robots.

Googlebot identifica el rastreador web principal de Google.

Bingbot identifica el rastreador de Microsoft Bing.

Las reglas para un rastreador específico pueden ser diferentes de las reglas generales. Revisa el resultado generado para confirmar qué grupo recibe cada directiva.

Disallow

La directiva Disallow indica a los rastreadores compatibles que no soliciten las URL que coincidan con una ruta determinada.

Por ejemplo:

User-agent: *

Disallow: /privado/

Esta regla solicita a los rastreadores que eviten las URL que se encuentren bajo la ruta /privado/.

Una regla Disallow no elimina automáticamente una página de los resultados de búsqueda. Una URL puede seguir apareciendo en los resultados si otras páginas enlazan con ella o si el buscador la descubre por otros medios.

Allow

La directiva Allow identifica una ruta que los rastreadores pueden visitar, incluso cuando existe una regla Disallow más general.

Por ejemplo:

User-agent: *

Disallow: /privado/

Allow: /privado/guia-publica/

Esta configuración solicita a los rastreadores que eviten la sección privada, pero permite acceder a la guía indicada. La compatibilidad con Allow y la interpretación de reglas que se solapan pueden variar entre rastreadores. Consulta la documentación de los motores de búsqueda que te interesan.

Sitemap

La directiva Sitemap proporciona la URL absoluta del sitemap XML de tu sitio web.

Por ejemplo:

Sitemap: https://example.com/sitemap.xml

Un sitemap puede ayudar a los motores de búsqueda a descubrir las URL de tu sitio. No anula las reglas Disallow ni garantiza que todas las URL incluidas se rastreen o indexen.

Si el campo del sitemap está vacío y has introducido un origen web válido, el generador puede sugerir una URL de sitemap basada en ese origen. Comprueba que la ruta sugerida coincide con la ubicación real del sitemap antes de publicar el archivo.

Crawl-delay

La directiva opcional Crawl-delay solicita una pausa entre las peticiones de un rastreador.

Por ejemplo:

User-agent: *

Crawl-delay: 10

Solicita a los rastreadores compatibles que esperen 10 segundos entre peticiones.

La compatibilidad varía según el rastreador. Googlebot no admite la directiva Crawl-delay en robots.txt. No des por hecho que añadirla ralentizará a todos los motores de búsqueda. Consulta la documentación de cada rastreador antes de utilizar esta opción.

El generador admite tres opciones de User-agent:

Todos los rastreadores (*): Crea reglas para todos los rastreadores que siguen el protocolo.

Googlebot: Crea un grupo de reglas específico para el rastreador web principal de Google.

Bingbot: Crea un grupo de reglas específico para el rastreador de Bing.

El User-agent seleccionado determina a qué grupo se aplican las reglas Allow y Disallow. Si necesitas reglas diferentes para distintos rastreadores, configura cada grupo con cuidado y revisa el archivo generado.

Añade tantas reglas de ruta como necesites. Cada regla indica si una ruta coincidente debe permitirse o bloquearse para el rastreador seleccionado.

Algunos ejemplos de rutas son:

/admin/

/checkout/

/search/

/assets/

Utiliza rutas relativas a la raíz del sitio web, normalmente comenzando con /. Revisa cada ruta con atención: una regla demasiado amplia puede afectar a más URL de las previstas.

El generador valida las rutas y las URL opcionales del sitio web y del sitemap. Las URL válidas deben utilizar http:// o https://. La directiva Sitemap necesita una URL absoluta, no una ruta relativa.

Utiliza una configuración predefinida como punto de partida y después adapta las reglas a tu sitio web.

Permitir todos los rastreadores

Una configuración sencilla que no bloquea ninguna ruta:

User-agent: *

Disallow:

Esto deja el rastreo sin restricciones mediante reglas Disallow en este grupo. No garantiza que los rastreadores visiten o indexen todas las páginas.

Bloquear todos los rastreadores

Una configuración que solicita a todos los rastreadores compatibles que no accedan a ninguna ruta:

User-agent: *

Disallow: /

Utilízala con precaución. Puede impedir que los motores de búsqueda rastreen todo el sitio. No sirve para hacer que una web sea privada ni para eliminar URL que ya están indexadas.

Bloquear secciones privadas habituales con una excepción

Esta configuración puede añadir reglas Disallow para secciones restringidas habituales y una regla Allow para una ruta permitida de forma explícita.

Por ejemplo:

User-agent: *

Disallow: /admin/

Disallow: /cuenta/

Disallow: /checkout/

Allow: /cuenta/ayuda/

Esto solo establece una preferencia de rastreo. No impide que los visitantes o los bots maliciosos soliciten esas URL.

Este ejemplo permite el rastreo general, bloquea algunas secciones y proporciona la ubicación del sitemap:

User-agent: *

Disallow: /admin/

Disallow: /cuenta/

Disallow: /checkout/

Allow: /cuenta/ayuda/

Sitemap: https://example.com/sitemap.xml

Antes de publicarlo, comprueba que las rutas sean correctas, que la excepción sea intencionada y que las páginas y recursos importantes no queden bloqueados por error.

Un archivo robots.txt ofrece instrucciones públicas de rastreo, no es un mecanismo de seguridad.

No puede:

Exigir una contraseña ni autenticar visitantes.

Proteger archivos, directorios o información privada.

Impedir que visitantes o bots maliciosos soliciten una URL.

Garantizar que una URL bloqueada desaparezca de los resultados de búsqueda.

Garantizar que todos los rastreadores sigan sus instrucciones.

No utilices robots.txt para ocultar información confidencial. Protege el contenido privado mediante autenticación, autorización y controles de acceso en el servidor. Si necesitas retirar una URL de los resultados de búsqueda, utiliza las herramientas de eliminación del motor de búsqueda correspondiente y los controles de indexación adecuados, en lugar de depender únicamente de Disallow.