Rastreadores de IA: qué muestran 17 días de registros (2026)

Financiación: CypherpunkGuide puede recibir una comisión por compras que cumplan las condiciones del programa de afiliación, realizadas mediante enlaces identificados expresamente como tales en los artículos pertinentes. No incluimos publicidad de vigilancia, scripts de redes publicitarias, píxeles de seguimiento ni artículos patrocinados.

Corrección del 24 de septiembre de 2026: la versión original exageraba lo que una coincidencia de IP podía demostrar sobre la identidad y el bloqueo de un rastreador. También presentaba llms.txt como un mecanismo de exclusión y confundía 14 etiquetas con 14 empresas. Hemos corregido esas afirmaciones y el resumen adjunto, y retirado conclusiones sobre Amazonbot y DNS que carecían de respaldo. El periodo observado sigue siendo del 19 de junio al 5 de julio de 2026; esta actualización no incorpora un nuevo experimento de rastreo.

Al revisar las visitas a un sitio conviene separar tres preguntas: cómo se presenta el programa, si su dirección de origen coincide con un rango documentado y si una regla de acceso le impidió obtener contenido. Nuestros registros aportan datos para las dos primeras. No responden a la tercera.

El user-agent es un texto con el que un programa se identifica; quien envía la solicitud puede elegirlo. Comparar la IP con una lista añade información sobre el origen, pero importa qué abarca esa lista y cuándo se guardó. robots.txt pide a los rastreadores que respetan sus reglas que no recuperen determinadas rutas. En cambio, un bloqueo en el servidor o en la red de distribución de contenido —CDN— aplica una restricción de acceso. llms.txt tiene otro propósito: es una propuesta para ofrecer a los modelos de lenguaje información útil sobre un sitio.

El modelo de amenazas de la era de la IA planteó la necesidad de examinar los rastreadores de este sitio. Estos 17 días de registros muestran los límites de confiar en un nombre escrito en una solicitud, incluidos los límites que pasamos por alto en nuestra primera interpretación.

Qué contienen los registros de 17 días

#

Los datos agregados conservados recogen 1635 solicitudes clasificadas en 14 familias de user-agent relacionadas con la IA. Cada familia agrupa solicitudes según una etiqueta del texto: no equivale a una empresa ni a una cadena completa y única de user-agent. Entre las categorías están CCBot y una etiqueta Google-Extended, por lo que tampoco se trata de un censo de 14 rastreadores comerciales de entrenamiento.

El resumen de verificación corregido conserva los recuentos y explica sus límites. Incluye datos agregados y ciertos prefijos de red, pero no direcciones IP completas ni registros de cada solicitud. Permite comprobar la aritmética, no repetir de forma independiente el análisis de las IP de origen.

Las otras siete categorías suman 101 solicitudes. Los porcentajes están redondeados y se calculan por solicitud, no por visitante, página o dirección de origen únicos.

Una coincidencia significa aquí que la IP observada pertenecía al conjunto de referencia utilizado en julio. No autentica el programa, no identifica a la persona que lo opera ni muestra cómo se usó el contenido obtenido. Una discrepancia puede deberse a un emisor ajeno, una lista incompleta o antigua, o un error de procesamiento. Por sí sola no prueba una suplantación.

Una coincidencia de IP no mide la eficacia de un bloqueo

#

Los porcentajes registrados para GPTBot y ClaudeBot corresponden a direcciones de origen. No realizamos un experimento controlado que comparara el tráfico antes y después de un bloqueo, ni observamos el uso del contenido para entrenamiento. No había base para afirmar, como hicimos, que esas cifras demostraban la eficacia de robots.txt.

La documentación de OpenAI distingue las funciones de sus rastreadores y sus controles. La guía de Anthropic explica las instrucciones de robots.txt y advierte que bloquear IP puede impedir que un rastreador las lea. Son explicaciones de los operadores sobre sus sistemas, no resultados de nuestro experimento.

La guía de verificación de Google también exige tener en cuenta la categoría del rastreador y el método documentado. GoogleOther es un rastreador de propósito general. Google-Extended es un identificador de control distinto, sin un user-agent HTTP propio. Las solicitudes de nuestros registros que llevan esa etiqueta no miden cómo aplica Google ese control.

Para probar un bloqueo hay que guardar la regla, el momento en que se activó, la categoría del rastreador y si las solicitudes posteriores recibieron contenido. La atribución del origen y el resultado del acceso deben anotarse por separado. El conjunto publicado no contiene ese experimento y no permite calcular una tasa de bloqueo ni de exclusión del entrenamiento.

Cuatro redes y catorce etiquetas no identifican a los operadores

#

El resumen histórico de redes recoge 99 solicitudes en cuatro prefijos /24, con 14 etiquetas distintas. Las 14 aparecen dentro de uno de esos prefijos. Un /24 reúne 256 direcciones IPv4; aquí es la unidad de agrupación del informe, no la asignación de direcciones más pequeña posible ni una frontera entre identidades.

Esas etiquetas incluyen varios productos de una misma empresa y programas que recuperan contenido a petición de un usuario. La selección de este recuento de redes difiere de la tabla de 1635 solicitudes: no es un subconjunto que pueda sumarse o restarse directamente.

La primera fila sirve de comparación. Las otras cuatro forman el recuento de 99 solicitudes.

El bloque contiguo 216.73.217.0/24 aporta otras 265 solicitudes de ClaudeBot, que completan las 546 coincidencias registradas. Es un resultado de esta muestra, no una regla según la cual una infraestructura legítima utilice siempre un solo nombre.

RDAP, el servicio público de consulta usado para obtener las organizaciones de la tabla, informa sobre el registro de las direcciones. No identifica al cliente que emitió una solicitud. Dos prefijos registrados a nombre del mismo proveedor de alojamiento no demuestran que haya un único actor detrás. La variedad de etiquetas justifica investigar, pero no prueba que una persona suplantara a 14 empresas ni que ignorara robots.txt.

Amazonbot: una discrepancia pendiente en la lista de referencia

#

El análisis guardado recoge 120 coincidencias entre 344 solicitudes etiquetadas como Amazonbot. Sin embargo, no podemos presentar ese 35 % como una proporción validada de identidades de Amazonbot. Se extrajeron 525 direcciones de una página cuya lista oficial, según las notas de investigación, anunciaba 489. Las notas señalaron que podían haberse incluido direcciones ajenas al rastreador tomadas del código de la página; la diferencia quedó sin resolver.

El resumen corregido conserva las 120 coincidencias y las 224 discrepancias como resultados históricos del procesamiento. Antes de interpretarlos como una comparación con la lista oficial, hay que validar de nuevo el conjunto extraído.

La versión original también afirmaba que 18 direcciones sin coincidencia habían fallado la comprobación DNS de Amazon. El agregado DNS conservado corresponde a otra muestra de 14 direcciones y no respalda esa afirmación. Retiramos la conclusión sobre las 18 direcciones sin sustituir una muestra por otra. No está demostrado que las 224 solicitudes sin coincidencia fueran suplantaciones.

Una nueva comprobación debe partir de la documentación actual de Amazonbot y conservar los datos de referencia exactos y el método de extracción. Saber que una dirección pertenece a un proveedor de nube no basta para identificar al rastreador o al cliente que la usa.

No obtener un nombre por DNS no resuelve la identidad

#

El análisis de julio no estableció el origen de las 179 solicitudes con la etiqueta meta-externalagent ni de las 112 etiquetadas como Bytespider. Es un límite de este análisis: no demuestra que sea imposible verificar esos rastreadores ni que hoy no exista un método para hacerlo.

Para nueve direcciones etiquetadas como Meta, el resultado DNS guardado indica que no se obtuvo un nombre. Pero el programa asignaba la misma etiqueta NXDOMAIN a todos los fallos de consulta, incluidos los que podían tener otras causas. No podemos afirmar, por tanto, que se confirmara la inexistencia de nueve nombres DNS. Una consulta fallida tampoco demuestra si el emisor respetó una regla de rastreo.

llms.txt orienta sobre el contenido; no pide excluirlo

#

llms.txt propone guiar a los modelos de lenguaje hacia contenido útil del sitio, no impedirles el acceso. La propuesta cumple una función distinta de robots.txt. Su propósito ya era informativo cuando apareció en 2024; no se trata de una función de exclusión añadida después de nuestro estudio.

La nota de investigación de julio registra cero solicitudes clasificadas como IA a nuestro /llms.txt durante el periodo observado. El JSON agregado que conservamos para esta corrección no permite recalcular ese recuento por ruta. Mantenemos la observación de la nota con esa limitación expresa. Del mismo modo, las 310 de GPTBot son solicitudes, no 310 páginas distintas ni 310 descargas exitosas.

Incluso aceptando el cero de la nota, solo significa que el sistema de registro y clasificación de este sitio no contabilizó esas solicitudes en aquel periodo. No mide la adopción de llms.txt en toda la web, las citas de IA ni la eficacia de un mecanismo de exclusión. La comparación anterior con un estudio externo sobre citas no sostenía esa conclusión y se ha retirado.

Comprueba por separado el origen y el acceso

#

La conclusión útil es más limitada que la original: las etiquetas de user-agent, las coincidencias con IP de referencia y los resultados de un control de acceso son pruebas de cosas distintas. Separarlas permite saber qué conclusiones sostienen tus registros.

1. Aplica los controles documentados para cada finalidad. Distingue rastreadores de entrenamiento, de búsqueda y programas activados por el usuario. Una coincidencia de IP no es una prueba de cumplimiento.
2. Conserva las referencias y el método. Guarda la fecha de consulta, el conjunto exacto de direcciones, las reglas de comparación y los fallos pendientes. El alojamiento compartido o una IP sin coincidencia exigen cautela, no una atribución automática.
3. Prueba las reglas mediante sus resultados. Si el contenido debe ser privado, exige autorización antes de entregarlo y comprueba que se rechazan las solicitudes no autorizadas. Un archivo público que expresa preferencias no impide el acceso.
4. Decide qué haces público. Las copias que ya circulan plantean un problema distinto del acceso futuro a tu servidor. Es un límite relacionado con las publicaciones que no puedes retirar por completo y con las inferencias a partir de fragmentos públicos.

Preguntas frecuentes

#

¿Puedes bloquear a los rastreadores de IA con robots.txt?

#

Puedes publicar instrucciones para los rastreadores que respeten las reglas correspondientes, pero robots.txt no impone un control de acceso. Nuestros resultados de coincidencias de IP no miden su cumplimiento. Sigue los controles documentados por el operador y prueba por separado el acceso real. Si el contenido debe ser privado, limita quién puede recuperarlo.

¿Cómo verificas una solicitud etiquetada como GPTBot o ClaudeBot?

#

Compara su IP de origen con la referencia adecuada del operador y guarda la versión y la fecha de consulta. Aplica el método que documente ese rastreador. Una coincidencia apoya la atribución dentro de esos límites; una discrepancia no demuestra por sí sola una suplantación. Tampoco revela si el contenido entró en los datos de entrenamiento de un modelo.

¿Impide llms.txt que la IA acceda a mi contenido?

#

No. La propuesta orienta a los modelos de lenguaje hacia contenido útil; no es un mecanismo para denegar el rastreo ni para excluir el entrenamiento. La nota de julio recoge cero solicitudes clasificadas como IA a ese archivo en 17 días, pero ese dato no prueba una exclusión y no puede recalcularse con el JSON agregado conservado.

¿Qué es un rastreador de IA suplantado?

#

Es una solicitud que usa la etiqueta de un rastreador sin proceder de él. El emisor puede elegir su user-agent, pero una discrepancia entre etiqueta y origen, o el uso de alojamiento compartido, no bastan para demostrar una suplantación. Las observaciones de nuestros cuatro prefijos justifican cautela; no identifican a los operadores ni prueban que ignoraran robots.txt.

¿Qué puedo hacer si no identifico a todos los rastreadores?

#

Aplica y prueba controles de acceso para el contenido que no debe ser público. En páginas públicas, utiliza las preferencias de rastreo documentadas, observa los resultados y expresa la incertidumbre del análisis. Ningún registro de solicitudes puede demostrar que una copia no se obtuvo en otro lugar o que no se usó más tarde.

Referencias

#

Documentación externa consultada el 24 de septiembre de 2026. Las fechas de los archivos difieren del periodo observado y no reproducen las listas de IP originales.

El resumen agregado corregido conserva los recuentos históricos y documenta las conclusiones retiradas. La actualización del 24 de septiembre revisa los agregados y los métodos conservados; no presenta una repetición del estudio a los 90 días ni un experimento controlado de bloqueo.

Este caso aporta información a nuestra discusión sobre el cercamiento de la web abierta, sin pretender demostrar sus afirmaciones más amplias con los registros de un solo sitio. Nuestra herramienta de autoauditoría responde a otra pregunta: qué información pública sobre ti puede encontrarse y comprobarse.