Vigilamos a los rastreadores de IA: 17 días de registros (2026)

Una nota sobre la financiación: CypherpunkGuide no lleva publicidad de vigilancia. Nada de redes publicitarias, píxeles de rastreo ni contenido patrocinado. Nos sostienen fuentes transparentes: hoy, las donaciones de los lectores; más adelante, una suscripción y afiliados alineados con nuestra línea editorial. Respondemos ante quienes nos leen, no ante los anunciantes.

Toda guía para mantener a los modelos de IA lejos de lo que escribes termina en las mismas tres palancas: añade el nombre del rastreador al robots.txt (el archivo de texto que pide con cortesía a los bots qué no visitar), publica un llms.txt (una versión más reciente de esa misma idea, pensada para la IA) o dile a tu proveedor de alojamiento que «bloquee GPTBot». Las tres dan por sentado lo mismo: que el bot que llama a tu puerta es quien su user-agent dice ser. Y un user-agent no es más que una línea de texto que un programa envía para anunciarse; se teclea, no se demuestra, y cualquier cosa puede teclear cualquier cosa.

Así que dejamos de teorizar y miramos. Durante 17 días —del 19 de junio al 5 de julio de 2026— registramos cada rastreador de IA que se identificó como tal al tocar este sitio: 1635 solicitudes repartidas entre 14 user-agents comerciales de IA distintos, desde ClaudeBot y GPTBot hasta nombres que la mayoría de los editores no ve jamás. Entonces dimos el paso que el consejo se salta: cotejamos la dirección de origen real de cada solicitud contra la lista de direcciones que publica la propia empresa nombrada. El resultado se divide con nitidez en tres grupos, y solo uno de ellos trae buenas noticias. Esta es la medición detrás de una promesa que hicimos antes —que vigilamos los propios registros de rastreadores de este sitio— y es el suelo empírico bajo el cercamiento de la web abierta que defendimos en otro lugar.

El hallazgo incómodo no es que los rastreadores de IA mientan. Es que los que más quieres frenar son justo los que tus herramientas no pueden tocar, porque todo el régimen de exclusión funciona solo cuando el rastreador es a la vez bastante honesto para obedecer y bastante transparente para dejarse comprobar. Lo que sigue es lo que 17 días de registros de un sitio pequeño revelaron sobre cuál es cuál.

Qué medimos, y cómo lo reproducirías tú

#

Recogimos 17 días consecutivos de registros de borde, agrupamos cada solicitud por su cadena de user-agent y nos quedamos con las 14 que nombran un sistema comercial de IA. Esa es la afirmación en bruto: un bot dijo «soy GPTBot». Verificarlo es otra cuestión, más difícil, y tiene una respuesta objetiva: ¿cae la IP de origen de la solicitud dentro del rango de direcciones que OpenAI, Anthropic, Google o Amazon publica para su propio rastreador? Todo gran operador difunde esa lista precisamente para que los servidores distingan un bot real de un impostor.

Las 1635 visitas se ordenaron en una jerarquía nítida. El recuento completo por agente acompaña a este artículo como un resumen en texto plano —solo cifras agregadas, ningún dato de visitantes, las redes de rastreo nombradas únicamente a nivel de /24—; un /24 es un bloque de 256 direcciones IP consecutivas, la unidad más pequeña en que se reparten estas redes (resumen de verificación).

Otros siete agentes de bajo volumen —101 solicitudes más— completan los 14; la lista íntegra está en el archivo de resumen.

Una solicitud verificada es aquella cuya IP de origen queda respaldada por la empresa nombrada. Los porcentajes están ponderados por número de solicitudes y, cuando el volumen de un bot es pequeño, lo decimos sin rodeos: el «21 %» de PerplexityBot son 5 visitas de 24, demasiado pocas para acusar a una empresa, y así lo tratamos más abajo. Dos salvedades atan cada cifra de aquí: esto es un solo sitio nuevo y de poco tráfico a lo largo de 17 días, no toda la web; y una lista de direcciones publicada vale solo hasta la fecha que lleva —la de Perplexity tiene 17 meses, y volveremos a ella—.

Los rastreadores declarados son casi todos reales

#

Empecemos por la buena noticia, porque es real e importa: cuando el rastreador de un gran laboratorio se anuncia, casi siempre dice la verdad. GPTBot se verificó al 97 %, ClaudeBot al 99 % y GoogleOther al 100 % contra los rangos de direcciones que publica cada empresa. La abrumadora mayoría del tráfico de «GPTBot» y «ClaudeBot» salió de verdad de la infraestructura de OpenAI y Anthropic. Una advertencia para quien haya venido aquí a excluirse en concreto del entrenamiento de IA: GoogleOther es un rastreador de Google de propósito general, un token distinto de Google-Extended, que es el que de verdad rige el entrenamiento de Gemini; y cada visita de Google-Extended que registramos vino del grupo suplantador de más abajo, no de Google.

Aquí es donde se equivoca la lectura cínica. Si añades GPTBot a tu robots.txt o bloqueas los rangos de Anthropic en tu borde, sí detendrás al GPTBot real y al ClaudeBot real: publican sus direcciones (OpenAI, Anthropic), respetan el archivo, y los datos independientes de toda la red coinciden en que los grandes rastreadores declarados son los actores dominantes, aunque su cuota individual se mueva de un año a otro (Cloudflare, 2025). El rastreador honesto es un problema resuelto. Si cada bot de IA se comportara como GoogleOther —con nombre, con rango, comprobable—, este artículo sería una nota al pie.

Un rastreador declarado se resiste a esta clasificación limpia, y la honestidad obliga a nombrarlo. Solo 5 de nuestras 24 visitas de PerplexityBot cayeron dentro del rango publicado por Perplexity; pero 24 visitas son demasiado pocas para juzgar a una empresa, y la propia lista de Perplexity tiene 17 meses, así que un fallo puede no significar más que un archivo caducado. De fondo hay una disputa viva: Cloudflare informó en agosto de 2025 de que Perplexity usaba rastreadores sigilosos y no declarados para colarse pese a las reglas de no rastreo (Cloudflare, 2025), y Perplexity rechazó en público ese encuadre (Perplexity, 2025): sostiene que un «agente» que trae una página a petición del usuario no es lo mismo que un «bot» que se adelanta, y que Cloudflare le había atribuido por error el tráfico de un servicio ajeno de navegador en la nube. A partir de una IP y nada más no podemos distinguir a un impostor externo del propio recolector no declarado de una empresa; así que, con 24 visitas, no concluimos nada sobre Perplexity y nos limitamos a señalarlo como el rastreador declarado que peor supera nuestras comprobaciones.

La cifra que se nos quedó grabada es otra, más afilada: el minúsculo resto entre los rastreadores que sí se verificaron. Las 7 visitas sin verificar de ClaudeBot y las 9 de GPTBot no eran ruido al azar. Todas y cada una llevaban al mismo lugar; un lugar que no tenía por qué reclamar ninguno de los dos nombres.

Una red vistió catorce rostros

#

Este es el hallazgo que dio nombre al artículo. Cuatro de aquellos bloques de direcciones —cuatro /24— quedaban por completo fuera del rango publicado de toda empresa, y en 17 días esos cuatro bloques por sí solos produjeron 99 solicitudes que portaban los user-agents de 14 empresas de IA distintas. Un solo /24, 185.213.174.0/24, suplantó él solito a las catorce: GPTBot, ClaudeBot, PerplexityBot, Amazonbot, Google-Extended, Bytespider, cohere-ai y siete más, todos desde una misma red pequeña.

Ponlo ahora al lado de un rango legítimo. Dos bloques contiguos de Anthropic —216.73.216.0/24 (281 solicitudes) y su vecino 216.73.217.0/24 (265)— enviaron entre ambos 546 solicitudes, y todas y cada una decían ClaudeBot: una entidad, una identidad, inspecciones el bloque que inspecciones. Averigua quién es el dueño de cada red y el contraste remata la idea. La titularidad sale de RDAP, el registro público que asigna una IP a la organización a la que se le adjudicó:

Los bloques legítimos caen dentro del propio rango publicado de Anthropic, y el que resolvimos en RDAP devuelve Anthropic, PBC. Las subredes suplantadoras están registradas a nombre de empresas comerciales de alojamiento —infraestructura que cualquiera alquila por horas— y dos de las cuatro llevan a la misma empresa alquilada: la firma de un único operador que hace funcionar una sola caja de disfraces. Un rastreador real lleva una identidad porque es una entidad. Un suplantador viste todos los rostros porque el rostro es la parte barata. El user-agent no es un carné de identidad; es un disfraz, y el robots.txt es un cartel que solo el disfrazado puede elegir leer.

Amazonbot: el bot que no distingues de un servidor alquilado

#

Con Amazonbot la verificación se vuelve de verdad difícil, y es instructivo justo porque Amazon no se esconde. La empresa publica una lista de direcciones de rastreo como las demás; y aun así, solo el 35 % de nuestras 344 visitas de «Amazonbot» (120 de ellas) coincidió con esa lista. El otro 65 % —224 solicitudes desde 179 direcciones distintas— no figuraba en absoluto en la lista de Amazon.

La razón es estructural. El rastreador real de Amazon corre sobre la misma nube —AWS EC2, los servidores en la nube que Amazon alquila a cualquiera— así que, en la capa de red, un impostor en EC2 se parece mucho a lo auténtico. La propia respuesta de Amazon a esto es una segunda comprobación: una prueba de DNS inverso (FCrDNS: confirmar que el nombre de la IP resuelve de vuelta a un host oficial crawl.amazonbot.amazon, en ambos sentidos). La aplicamos a una muestra de 18 de las direcciones que no coincidían. Las 18 resolvieron a hosts genéricos ec2-*.compute-1.amazonaws.com —servidores alquilados corrientes— y ninguna al dominio de rastreo de Amazon (método de verificación de Amazon). No eran IP nuevas de Amazon sin listar: no pasaron la propia prueba de Amazon para ser Amazon.

La lección va más allá de un solo bot: un rastreador que corre sobre nube alquilada es el más fácil de falsificar, porque el falsificador alquila esa misma nube idéntica. Ahí la verificación no puede detenerse en una lista de direcciones: necesita una prueba criptográfica o anclada en el DNS que el operador controle. Amazon al menos ofrece una. Algunos no ofrecen nada.

Los rastreadores que no puedes comprobar en absoluto

#

El grupo más difícil no es el de los mentirosos: es el de los rastreadores que no tienes forma de verificar en ningún sentido. meta-externalagent (el rastreador de IA de Meta) envió 179 solicitudes y Bytespider (el de ByteDance) envió 112, y de ninguna de las dos empresas pudimos hallar un rango de IP publicado ni un método oficial de DNS inverso contra el que comprobar una sola. Cuando hicimos la búsqueda inversa de una muestra de las direcciones de Meta (9 de ellas), devolvieron NXDOMAIN: ningún nombre registrado en absoluto. No hay nada con qué cotejar, sea por diseño o por descuido; se te pide confiar en la cabecera y no se te da manera de hacerlo.

Este es el núcleo callado de todo el problema, y es un problema de privacidad, no una molestia para el administrador de un sitio. La exclusión que te vendieron —robots.txt, «bloquea el bot», incluso el nuevo llms.txt— vale solo lo que tu capacidad de saber si funcionó. Divide el mundo de los rastreadores de IA en tres, y tus herramientas alcanzan solo al primero:

Y el arreglo más nuevo, el específico para IA, no sale mejor parado en nuestros propios registros. Publicamos un llms.txt; a lo largo de los 17 días, los rastreadores de IA trajeron nuestras páginas cientos de veces —GPTBot por sí solo 310 veces— y trajeron el archivo llms.txt exactamente cero veces. Un estudio de 300.000 dominios llegó al mismo veredicto a gran escala: los archivos llms.txt no muestran correlación medible alguna con el comportamiento de los rastreadores de IA (SE Ranking, 2025). El estándar que se pide leer a los bots, no lo están leyendo.

En resumen: qué te protege de verdad

#

Si el objetivo es mantener tus textos, fotos y publicaciones públicas fuera de los sistemas de IA, este corte de 17 días dice algo llano y algo desolador: los controles funcionan mejor con los rastreadores que se habrían portado bien de todas formas, y nada en absoluto con los que más temes. No es razón para quitar el robots.txt —frenar a la mayoría honesta sigue importando, y es la diferencia entre que tus palabras entren o no en los grandes modelos—. Es razón para dejar de confundir el cartel de la puerta con una cerradura.

De ahí se siguen tres conclusiones honestas. Primera: usa las palancas, pero ordénalas por quién obedece. El robots.txt y bloquear en el borde los rangos publicados frenan de verdad a GPTBot, ClaudeBot y Google, que son la mayor parte del volumen declarado. Segunda: verifica, no te fíes de la etiqueta. Si vas a actuar según tus registros, coteja las IP de origen contra las listas publicadas de los operadores y el DNS inverso, exactamente como hicimos nosotros, y no contra la cadena de user-agent. Tercera, la que sostiene todo lo demás: da por hecho que cualquier cosa que publiques en abierto ya es legible por sistemas que no puedes auditar. El grupo impostor y los rastreadores sin método no van a honrar un archivo de texto; el único control de privacidad duradero es elegir qué entra en el registro público desde el principio, la misma lógica de permanencia que trazamos para las publicaciones que no puedes despublicar y para lo que las máquinas infieren a partir de fragmentos.

Un estándar emergente llamado Web Bot Auth aspira a resolver el problema del disfraz de raíz: firmas criptográficas que un rastreador no puede falsificar, de modo que la identidad se demuestra en lugar de teclearse (Cloudflare, 2025). Es temprano y no está muy adoptado, y solo ayudará con los rastreadores que quieren ser identificados. Los que visten catorce rostros nunca fueron el objetivo de un estándar de confianza.

Preguntas frecuentes

#

¿Puedes bloquear a los rastreadores de IA con robots.txt?

#

En parte, y depende por entero de la honestidad del rastreador. En nuestros registros de 17 días, los grandes rastreadores declarados —GPTBot, ClaudeBot, GoogleOther— se verificaron como auténticos entre el 97 % y el 100 % de las veces y sí respetan el robots.txt, así que incluirlos ahí los detiene. Pero el robots.txt es una petición voluntaria, no una regla que se imponga: un rastreador que la ignora, o que viste un user-agent falso, pasa de largo sin más. El archivo frena al cortés e informa al honesto; a un impostor no le dice nada.

¿Cómo verificas que un rastreador de IA es de verdad GPTBot o ClaudeBot?

#

No te fíes de la cadena de user-agent: comprueba la IP de origen. OpenAI, Anthropic, Google y Amazon publican cada uno los rangos de direcciones que usan sus rastreadores, así que una solicitud real de GPTBot viene de una IP que está dentro de la lista publicada por OpenAI. Para los rastreadores sobre nube compartida (como Amazonbot en AWS), añade una comprobación de DNS inverso: confirma que el nombre de host de la IP resuelve de vuelta al dominio oficial de rastreo del operador, en ambos sentidos (FCrDNS). Si una visita de «GPTBot» viene de una dirección que OpenAI nunca publicó, no es GPTBot.

¿Mantiene el llms.txt a la IA fuera de mi contenido?

#

Según nuestras pruebas, no. Publicamos un archivo llms.txt y, a lo largo de 17 días, los rastreadores de IA trajeron nuestras páginas reales cientos de veces mientras traían el llms.txt cero veces: GPTBot leyó 310 páginas y el archivo, ni una sola vez. Un estudio aparte de 300.000 dominios no halló correlación medible entre tener un llms.txt y cambio alguno en el comportamiento de los rastreadores de IA. Es un estándar propuesto que los rastreadores a los que se dirige, en su mayoría, aún no leen.

¿Qué es un rastreador de IA suplantado?

#

Es una solicitud que lleva el nombre de user-agent de una empresa de IA real pero no viene de esa empresa. En nuestros registros, cuatro redes comerciales de alojamiento —de las que cualquiera puede alquilar— enviaron tráfico etiquetado como 14 empresas de IA distintas, incluida una red que suplantó a las catorce ella sola. Como un user-agent no es más que una cadena de texto que elige quien la envía, la suplantación es trivial; solo cotejar la IP de origen contra los rangos publicados te dice si el nombre está ganado o puesto.

Si no puedo frenar a todos los rastreadores, ¿qué protege de verdad mi privacidad?

#

El único control que sobrevive a un rastreador incomprobable o deshonesto es decidir qué haces público desde el principio. El robots.txt y bloquear los rangos publicados frenarán a la mayoría honesta, y vale la pena hacerlo. Pero para los rastreadores que no puedes verificar —y los impostores que ignoran toda regla—, da por hecho que cualquier cosa publicada en abierto ya es legible por sistemas que no puedes auditar, y trata la publicación misma como el punto de decisión.

Referencias

#

Nuestro material de prueba: el resumen de verificación —recuentos agregados de solicitudes por user-agent, recuentos verificados y titularidad de las redes a nivel de /24, de la ventana de registros del 19 de junio al 5 de julio de 2026—. No incluye ningún dato de visitantes; las IP de los rastreadores son infraestructura pública, revelada con una granularidad no más fina que el /24.

Una nota sobre lo que esto es y lo que no. Es un solo sitio nuevo y de poco tráfico a lo largo de 17 días: un estudio de caso, no un censo. Los porcentajes describen nuestros registros, no la web. Lo que se generaliza no son las cifras, sino el método y su veredicto: verifica contra la identidad publicada y el mundo de los rastreadores se parte en comprobables y no comprobables. Repetiremos la misma medición a los 90 días y publicaremos la diferencia: si el grupo impostor crece, si los rastreadores sin método llegan a ser verificables alguna vez y si los honestos siguen siendo honestos.

Este es el complemento, del lado de los rastreadores, a nuestro argumento de que la web abierta se está cercando —leída más por máquinas que por personas— y la continuación empírica del modelo de amenazas de la era de la IA que abrió esta serie. Si quieres ver qué podría armar una de esas máquinas sobre ti a partir de lo que ya es público, nuestra herramienta de autoauditoría aplica esa misma disciplina de verificar en vez de confiar a tu propia huella.