Creador de robots.txt para SEO y rastreadores de IA
Crea un robots.txt válido con ajustes predefinidos, líneas de sitemap y reglas de un clic para rastreadores de IA como GPTBot y ClaudeBot, y luego prueba cualquier URL con él.
Reglas para todos los rastreadores
Empezar con un preajusteRastreadores de IA
Opciones rápidasLos rastreadores marcados reciben Disallow: / para todo el sitio.
robots.txt
Probar una URL
Por qué robots.txt importa más que nunca
robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los rastreadores qué partes de tu sitio pueden visitar. Siempre ha sido un básico del SEO técnico para mantener fuera del rastreo las áreas de administración, los carritos y las interminables URL de filtros. Hoy también es tu principal forma de decir sí o no a los rastreadores de IA de OpenAI, Anthropic, Perplexity, Google, Apple y otros.
Rastreadores de entrenamiento frente a rastreadores de búsqueda
Las empresas de IA usan cada vez más rastreadores distintos para tareas distintas. Los rastreadores de entrenamiento, como GPTBot, ClaudeBot y Google-Extended, recopilan contenido para entrenar modelos. Los rastreadores de búsqueda, como OAI-SearchBot, Claude-SearchBot y PerplexityBot, indexan páginas para que el asistente pueda citarlas y enlazarlas en sus respuestas. Esa separación te permite elegir: la opción «Bloquear solo el entrenamiento de IA» te mantiene visible en la búsqueda con IA y te excluye del entrenamiento de modelos.
Bloquear Google-Extended no afecta a tu posicionamiento en la Búsqueda de Google ni a tu elegibilidad para los AI Overviews, que usan el Googlebot habitual. Algunos proveedores también indican que sus agentes activados por usuarios, los que abren una página porque una persona lo pidió, pueden no seguir las reglas de robots.txt.
Cómo usar el generador
- Elige un preajuste y luego ajusta las rutas Disallow y Allow de tu sitio.
- Añade cada URL de sitemap, una por línea.
- Elige qué rastreadores de IA bloquear.
- Prueba algunas URL importantes con el comprobador. Sigue las reglas estándar: gana la regla coincidente más larga y, en caso de empate, gana Allow.
- Sube el archivo a la raíz de tu dominio para que se abra en tudominio.com/robots.txt.
Preguntas frecuentes
¿Debo bloquear los rastreadores de IA?
Es una decisión de negocio. Bloquear los rastreadores de entrenamiento mantiene tu contenido fuera del entrenamiento de futuros modelos. Bloquear los rastreadores de búsqueda puede sacarte de las respuestas y citas de la IA. Para la mayoría de los sitios de marketing, permitir los rastreadores de búsqueda de IA es la mejor opción para la visibilidad.
¿Cuál es la diferencia entre Disallow y noindex?
Disallow detiene el rastreo. Noindex, definido en una metaetiqueta o una cabecera HTTP, detiene la indexación. Una página bloqueada en robots.txt puede seguir apareciendo en los resultados como una URL sin descripción si otros sitios la enlazan, y Google no puede ver una etiqueta noindex en una página que no puede rastrear.
¿Dónde va el archivo robots.txt?
En la raíz de cada host, por ejemplo https://example.com/robots.txt. Un subdominio como shop.example.com necesita su propio archivo. La mayoría de las plataformas, incluidas WordPress y Shopify, crean uno que puedes editar o reemplazar.
¿Todos los bots respetan robots.txt?
Los rastreadores de confianza sí. Pero es un estándar voluntario, así que no detendrá a los scrapers que lo ignoran. Usa autenticación o reglas de servidor para todo lo que sea realmente privado.