robots.txt para bots de IA en 2026: qué dejar entrar y qué bloquear

robots.txt para bots de IA: entrenamiento vs búsqueda en vivo, los dos que casi todos confunden

Hay dos familias de bots de IA y hacen cosas opuestas. El bot de entrenamiento descarga tu contenido para nutrir el modelo (lo que sabrá el LLM dentro de meses). El bot de búsqueda en vivo lee tu web en el momento en que un usuario pregunta, para citarte en la respuesta de ahora mismo. Confundirlos en tu robots.txt para bots de IA es el error que te saca de las respuestas.

La distinción importa porque la IA de 2026 no cita de memoria: la IA no busca, valida. Cuando alguien pregunta a ChatGPT o Perplexity por "mejor gestoría en Zaragoza", el modelo lanza una búsqueda en vivo, entra en las webs candidatas con su bot de retrieval y construye la respuesta con lo que lee. Si tu fichero le cierra la puerta a ese bot, no existes en esa respuesta. Da igual lo bueno que sea tu contenido. Es la base de cualquier estrategia de posicionamiento en IA.

• Bot de entrenamiento (GPTBot, ClaudeBot, CCBot / Common Crawl, Google-Extended): alimenta el modelo. Bloquearlo es una decisión de propiedad intelectual, no de visibilidad inmediata.
• Bot de búsqueda en vivo (OAI-SearchBot, Claude-SearchBot, PerplexityBot): decide si te citan en la respuesta que el usuario ve hoy. Bloquearlo te borra de esas respuestas.
• Bot iniciado por el usuario (ChatGPT-User, Claude-User, Perplexity-User): entra cuando una persona pega tu URL o pide que lean tu página. Es tráfico cualificado, no rastreo masivo.

La tabla de user-agents de IA en 2026 (nombre, empresa, qué hace, deberías permitirlo)

Esta es la foto de los user-agents reales a fecha de 2026, verificada en la documentación oficial de OpenAI, Anthropic y Perplexity. Antes de tocar tu robots.txt para bots de IA, comprueba que estás escribiendo el nombre exacto: un error de mayúsculas o un guion de más y la regla no aplica a nadie.

Bloquear GPTBot no te saca de ChatGPT: el error que sí te borra

El fallo más caro no es bloquear GPTBot: es un Disallow: / aplicado a OAI-SearchBot, Claude-SearchBot o PerplexityBot. En el momento en que lo haces, desapareces de las respuestas con citas de esas plataformas. Y casi nadie lo hace a propósito: lo hereda de plantillas antiguas o de bloqueos genéricos tipo "bloquea toda la IA".

El origen del error suele ser 2023. Cuando GPTBot salió, medio internet lo bloqueó por miedo a que la IA "robara" su contenido. Tenía sentido entonces, porque solo existía el bot de entrenamiento. Pero OpenAI separó después OAI-SearchBot (búsqueda) de GPTBot (entrenamiento), y Anthropic hizo lo mismo con Claude-SearchBot. La regla vieja se quedó, y muchas webs siguen con un bloqueo que hoy significa "no me cites en tu buscador". Insisto: bloquear GPTBot no te saca de ChatGPT; bloquear OAI-SearchBot, sí.

Este es el test que puedes hacer tú solo en dos minutos: abre ChatGPT o Perplexity y pregunta por tu servicio y tu ciudad ("mejor [tu sector] en [tu ciudad]"). ¿Sales tú o sale tu competencia? Si no apareces, revisa tu robots.txt antes que nada: puede que estés invisible por una línea que escribiste hace tres años. La ventana es de meses: el first-mover que abre esos bots ahora se lleva las citas mientras el resto sigue bloqueado. Cómo aparecer en concreto en OpenAI lo desarrollamos en SEO para ChatGPT Search.

Configuración recomendada equilibrada (bloque robots.txt copy-paste)

La postura equilibrada para 2026: deja entrar a todos los bots de búsqueda en vivo y a los iniciados por el usuario (quieres las citas y el tráfico), y decide bot a bot si abres los de entrenamiento. Este bloque abre todos los bots de retrieval y de entrenamiento, que es lo que hacemos en Vextria: preferimos ganar visibilidad hoy a proteger un contenido que, publicado en abierto, la IA va a leer igual.

# robots.txt · bots de IA (config recomendada 2026)
# Busqueda en vivo: SIEMPRE permitir si quieres citas de IA
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Iniciados por el usuario: permitir (trafico cualificado)
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

# Entrenamiento: permitir para maxima visibilidad
# (cambialo a Disallow: / si no quieres alimentar el modelo)
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

# Apunta a tu mapa del sitio
Sitemap: https://tudominio.com/sitemap.xml

Si prefieres proteger tu contenido del entrenamiento pero seguir apareciendo en las respuestas, cambia solo los cuatro bloques de entrenamiento a Disallow: / y deja los de búsqueda con Allow: /. Esa es la separación limpia: entreno no, cita sí. Lo que nunca deberías hacer es un User-agent: * con Disallow: / creyendo que "bloqueas la IA", porque te llevas por delante los bots de búsqueda. Y aparte del robots.txt, publica un archivo llms.txt para darle a esos bots un índice de lo que quieres que citen.

robots.txt no afecta a tu ranking de Google: por qué

Bloquear bots de IA en tu robots.txt no mueve ni un puesto tu posición en Google. Son cosas separadas: Googlebot (el que indexa para el buscador clásico) es un user-agent distinto de Google-Extended (el de entrenamiento de Gemini). Puedes bloquear Google-Extended y seguir rankeando en Google Search exactamente igual.

El malentendido viene de tratar robots.txt como un interruptor único. No lo es: es una lista de reglas por user-agent. Cada bot lee solo su bloque. Por eso puedes tener una política para Googlebot, otra para GPTBot y otra para OAI-SearchBot en el mismo fichero sin que se pisen. Lo que sí conviene recordar: robots.txt controla el rastreo, no la indexación ni el ranking. Y no es un mecanismo de seguridad, es una petición que los bots buenos respetan.

Cómo verificar que tu robots.txt hace lo que crees

No des por hecho que tu robots.txt funciona: verifícalo. La forma más rápida es pedirle el fichero a tu servidor simulando ser cada bot y ver qué regla se aplica. Estos son los pasos que hacemos en una auditoría técnica.

1. Abre tu fichero en el navegador: escribe tudominio.com/robots.txt y léelo entero. Busca cualquier Disallow que afecte a OAI-SearchBot, Claude-SearchBot o PerplexityBot.
2. Comprueba mayúsculas y guiones exactos. "OAI-SearchBot" no es "OAISearchBot" ni "OAI-Searchbot". Un nombre mal escrito es una regla que no aplica a nadie.
3. Haz una petición como bot con curl: curl -A "OAI-SearchBot" -I https://tudominio.com/ y confirma que devuelve 200, no un 403 del firewall (que ignora tu robots.txt).
4. Haz el test de la respuesta real: pregunta a ChatGPT y a Perplexity por tu sector y tu ciudad. Si no sales, tienes un problema de acceso o de autoridad, no de suerte.
5. Recuerda el retardo: tras cambiar el robots.txt, los sistemas de OpenAI pueden tardar del orden de 24 horas en reflejarlo. No juzgues el resultado el mismo minuto.

Y una capa que va más allá del robots.txt: aunque dejes entrar a los bots, muchos de ellos no ejecutan JavaScript, así que si tu contenido se pinta en cliente puede que no lean nada útil. Abrir la puerta es el primer paso; que haya algo legible detrás es el segundo. Lo desarrollamos en por qué los bots de IA no ejecutan JavaScript y en la estrategia de indexación para bots de IA en 2026.

Preguntas frecuentes