Vigiamos os rastreadores de IA: um estudo de logs de 17 dias (2026)

Uma nota sobre financiamento: o CypherpunkGuide não veicula publicidade de vigilância — nada de redes de anúncios, pixels de rastreamento ou conteúdo patrocinado. O projeto se sustenta com fontes transparentes de receita: doações de leitores agora; assinatura e afiliados alinhados à linha editorial mais adiante. Respondemos aos leitores, não aos anunciantes.

Todo guia sobre como manter os modelos de IA longe do que você escreve chega sempre às mesmas três alavancas: acrescentar o nome do rastreador ao robots.txt (o arquivo que pede com educação aos bots o que não visitar), publicar um llms.txt (uma versão mais nova, específica para IA, da mesma ideia) ou pedir à sua hospedagem que “bloqueie o GPTBot”. As três partem do mesmo pressuposto — o de que o bot batendo à sua porta é mesmo quem o user-agent dele diz ser. Um user-agent não passa de uma linha de texto que um programa envia para se anunciar; ela é digitada, não provada, e qualquer coisa pode digitar qualquer coisa.

Então paramos de teorizar e fomos olhar. Por 17 dias — de 19 de junho a 5 de julho de 2026 — registramos cada rastreador de IA que se identificava ao tocar neste site: 1.635 requisições sob 14 user-agents comerciais de IA distintos, de ClaudeBot e GPTBot a nomes que a maioria dos editores nunca vê. Aí demos o passo que os guias omitem: conferimos o endereço de origem real de cada requisição contra a lista de endereços que a própria empresa nomeada publica. O resultado se divide com nitidez em três grupos, e só um deles é boa notícia. Esta é a medição por trás de uma promessa que fizemos antes — a de manter os logs de rastreadores deste site sob observação — e é o alicerce empírico do cercamento da web aberta que defendemos noutro texto.

O achado incômodo não é que os rastreadores de IA mintam. É que aqueles que você mais quer deter são justamente os que suas ferramentas não conseguem tocar — porque todo o regime de opt-out só funciona quando o rastreador é ao mesmo tempo honesto o bastante para obedecer e transparente o bastante para ser conferido. Abaixo está o que 17 dias de logs de um único site pequeno revelaram sobre qual é qual.

O que medimos, e como você reproduziria

#

Coletamos 17 dias seguidos de logs de borda, agrupamos cada requisição pela sua string de user-agent e ficamos com os 14 que nomeiam um sistema comercial de IA. Essa é a alegação crua — um bot disse “sou o GPTBot”. A verificação é uma questão à parte, mais difícil, e tem resposta objetiva: o IP de origem da requisição cai dentro da faixa de endereços que a OpenAI, a Anthropic, o Google ou a Amazon publica para o próprio rastreador? Todo grande operador divulga essa lista justamente para que os servidores distingam um bot real de um impostor.

Os 1.635 acessos se organizaram numa hierarquia nítida. A contagem completa por agente acompanha este artigo como um resumo em texto puro — apenas contagens agregadas, nenhum dado de visitante, redes de rastreadores nomeadas só no nível /24 — sendo um /24 um bloco de 256 endereços IP consecutivos, a menor unidade em que essas redes são distribuídas (resumo da verificação).

Outros sete agentes de baixo volume — mais 101 requisições — completam os 14; a lista inteira está no arquivo de resumo.

Uma requisição verificada é aquela cujo IP de origem tem o aval da empresa nomeada. As porcentagens são ponderadas pelo número de requisições e, quando o volume de um bot é pequeno, dizemos isso sem rodeios — os “21%” do PerplexityBot são 5 acessos em 24, pouco demais para condenar uma empresa, e é assim que o tratamos adiante. Duas ressalvas prendem cada número aqui: este é um único site novo e de baixo tráfego ao longo de 17 dias, não a web inteira; e uma lista de endereços publicada só está tão atualizada quanto a sua data — a da Perplexity tem 17 meses, ao que voltaremos.

Os rastreadores declarados são, em sua maioria, reais

#

Comece pela boa notícia, porque ela é real e importa: quando o rastreador de um grande laboratório se anuncia, quase sempre está dizendo a verdade. O GPTBot verificou a 97%, o ClaudeBot a 99% e o GoogleOther a 100% contra as faixas de endereços que cada empresa publica. A esmagadora maioria do tráfego “GPTBot” e “ClaudeBot” saiu mesmo da infraestrutura da OpenAI e da Anthropic. Um alerta para quem veio até aqui querendo recusar especificamente o treino de IA: o GoogleOther é um rastreador de uso geral do Google, um token diferente do Google-Extended, que é o que de fato governa o treino do Gemini — e cada acesso de Google-Extended que registramos veio do cluster falsificador logo abaixo, não do Google.

É aqui que a leitura cínica erra. Se você acrescentar GPTBot ao seu robots.txt ou bloquear as faixas da Anthropic na borda, você vai deter o GPTBot verdadeiro e o ClaudeBot verdadeiro — eles publicam seus endereços (OpenAI, Anthropic), respeitam o arquivo, e dados independentes de toda a rede concordam que os grandes rastreadores declarados são os protagonistas — mesmo que a fatia de cada um oscile de ano para ano (Cloudflare, 2025). O rastreador honesto é um problema resolvido. Se todo bot de IA se comportasse como o GoogleOther — nomeado, com faixa conhecida, verificável —, este artigo seria uma nota de rodapé.

Um rastreador declarado resiste a essa classificação limpa, e a honestidade exige nomeá-lo. Só 5 dos nossos 24 acessos de PerplexityBot bateram com a faixa publicada da Perplexity — mas 24 acessos são poucos demais para julgar uma empresa, e a própria lista da Perplexity tem 17 meses, de modo que uma falha pode não significar nada além de um arquivo desatualizado. Há uma disputa em aberto por trás disso: em agosto de 2025, a Cloudflare relatou que a Perplexity usava rastreadores furtivos e não declarados para driblar regras de “não rastrear” (Cloudflare, 2025), e a Perplexity rejeitou publicamente esse enquadramento (Perplexity, 2025), alegando que um “agente” acionado pelo usuário para buscar uma página sob demanda não é a mesma coisa que um “bot” que age por conta própria, e que a Cloudflare lhe havia atribuído por engano o tráfego de um serviço de navegador em nuvem de terceiros. Só pelo endereço IP não conseguimos distinguir um impostor externo do buscador não declarado da própria empresa — então, com 24 acessos, nada concluímos sobre a Perplexity e apenas a assinalamos como o rastreador declarado que nossas conferências verificam pior.

O número que ficou conosco é outro, mais afiado: o pequeno resto entre os rastreadores que de fato se verificaram. Os 7 acessos não verificados do ClaudeBot e os 9 do GPTBot não eram ruído aleatório. Cada um deles remontava ao mesmo lugar — um lugar que não tinha nenhum direito de reivindicar qualquer um dos dois nomes.

Uma rede vestiu catorze rostos

#

Eis a descoberta que batizou o artigo. Quatro daqueles blocos de endereços — quatro /24 — ficavam inteiramente fora da faixa publicada de toda empresa e, em 17 dias, esses quatro blocos sozinhos produziram 99 requisições carregando os user-agents de 14 empresas de IA diferentes. Um único /24 — 185.213.174.0/24 — se fez passar pelas catorze sozinho: GPTBot, ClaudeBot, PerplexityBot, Amazonbot, Google-Extended, Bytespider, cohere-ai e mais sete, todos vindos de uma pequena rede.

Agora ponha isso ao lado de uma faixa legítima. Dois blocos vizinhos da Anthropic — 216.73.216.0/24 (281 requisições) e o vizinho 216.73.217.0/24 (265) — mandaram 546 requisições somadas, e cada uma delas dizia ClaudeBot: uma entidade, uma identidade, qualquer que seja o bloco que você inspecione. Descubra quem é dono de cada rede e o contraste arremata o raciocínio. A propriedade vem do RDAP (o registro público que liga um IP à organização a que ele foi atribuído):

Os blocos legítimos ficam dentro da própria faixa publicada da Anthropic — e o único que resolvemos no RDAP volta como Anthropic, PBC. Já as sub-redes impostoras estão registradas em empresas comerciais de hospedagem — infraestrutura que qualquer um aluga por hora — e duas das quatro remontam à mesma empresa alugada, a assinatura de um único operador que roda uma só máquina de disfarces. Um rastreador de verdade carrega uma única identidade porque é uma única entidade. O falsificador veste todos os rostos porque o rosto é a parte barata. O user-agent não é uma carteira de identidade; é uma fantasia, e o robots.txt é uma placa que só os fantasiados podem escolher ler.

Amazonbot: o bot que você não distingue de um servidor alugado

#

O Amazonbot é onde a verificação fica realmente difícil, e ele é instrutivo justamente porque a Amazon não está se escondendo. A empresa publica uma lista de endereços do rastreador como as outras — e, ainda assim, só 35% dos nossos 344 acessos de “Amazonbot” (120 deles) bateram com ela. Os outros 65% — 224 requisições de 179 endereços distintos — não constavam da lista da Amazon de forma alguma.

A razão é estrutural. O rastreador de verdade da Amazon roda no AWS EC2 — os servidores em nuvem que a Amazon aluga a qualquer um —, a mesma nuvem que qualquer impostor também pode alugar; então, na camada de rede, uma falsificação hospedada no EC2 se parece muito com o rastreador verdadeiro. A resposta da própria Amazon a isso é uma segunda conferência: um teste de DNS reverso (FCrDNS — verificar se o nome do IP resolve de volta para um host oficial crawl.amazonbot.amazon, nos dois sentidos). Aplicamos esse teste a uma amostra de 18 dos endereços que não bateram. Todos os 18 resolveram para hosts genéricos ec2-*.compute-1.amazonaws.com — servidores alugados comuns — e nenhum para o domínio de rastreio da Amazon (método de verificação da Amazon). Não eram IPs novos e não listados da Amazon; eles falharam no próprio teste da Amazon para ser a Amazon.

A lição vale além de um único bot: um rastreador que roda em nuvem alugada é o mais fácil de falsificar, porque o falsário aluga exatamente a mesma nuvem. Ali a verificação não pode parar numa lista de endereços — precisa de uma prova, criptográfica ou ancorada em DNS, que o operador controle. A Amazon ao menos oferece uma. Alguns não oferecem nada.

Os rastreadores que não há como conferir

#

O grupo mais difícil não é o dos mentirosos — são os rastreadores que você não tem como verificar em nenhum dos sentidos. O meta-externalagent (o rastreador de IA da Meta) mandou 179 requisições e o Bytespider (o da ByteDance), 112, e para nenhuma das duas empresas conseguimos achar uma faixa de IP publicada ou um método oficial de DNS reverso para conferir sequer um deles. Quando fizemos o DNS reverso de uma amostra dos endereços da Meta (9 deles), todos devolveram NXDOMAIN — nenhum nome registrado, nada. Não há o que casar, seja por decisão de projeto, seja por descuido; pedem que você confie no cabeçalho e não lhe dão como.

Este é o núcleo silencioso de todo o problema, e é um problema de privacidade, não um contratempo de administrador de site. O opt-out que lhe venderam — robots.txt, “bloqueie o bot”, até o novo llms.txt — só é tão forte quanto a sua capacidade de saber se funcionou. Ele divide o mundo dos rastreadores de IA em três, e suas ferramentas alcançam apenas o primeiro:

E a solução mais nova, específica para IA, não se sai melhor nos nossos próprios logs. Publicamos um llms.txt; ao longo dos 17 dias, os rastreadores de IA buscaram nossas páginas centenas de vezes — só o GPTBot, 310 vezes — e buscaram o arquivo llms.txt exatamente zero vez. Um estudo com 300.000 domínios chegou ao mesmo veredito em escala: arquivos llms.txt não mostram correlação mensurável com o comportamento dos rastreadores de IA (SE Ranking, 2025). O padrão que os bots são chamados a ler é justamente o que eles não leem.

Conclusão — o que de fato protege você

#

Se a meta é manter seus textos, fotos e posts públicos fora dos sistemas de IA, esta fatia de 17 dias diz algo simples e um tanto sombrio: os controles funcionam melhor contra os rastreadores que se comportariam de qualquer jeito e não funcionam de forma alguma contra aqueles que você mais teme. Isso não é motivo para remover o robots.txt — deter a maioria honesta ainda importa, e é a diferença entre suas palavras entrarem ou não nos grandes modelos. É, sim, motivo para parar de confundir a placa na porta com uma fechadura.

Seguem três conclusões honestas. Primeira, use as alavancas, mas ordene-as por quem obedece: o robots.txt e o bloqueio das faixas publicadas na borda de fato detêm GPTBot, ClaudeBot e Google — e isso é a maior parte do volume declarado. Segunda, verifique, não confie no rótulo: se você vai agir a partir dos seus logs, confira os IPs de origem contra as listas publicadas dos operadores e o DNS reverso, exatamente como fizemos, em vez de olhar a string do user-agent. Terceira — a que sustenta tudo — trate qualquer coisa que você publique em aberto como já legível por sistemas que você não pode auditar. O cluster impostor e os rastreadores sem método não vão respeitar um arquivo de texto; o único controle de privacidade durável é a escolha do que entra no registro público desde o começo — a mesma lógica de permanência que mapeamos para os posts que você não consegue despublicar e para o que as máquinas inferem a partir de fragmentos.

Um padrão emergente chamado Web Bot Auth quer resolver o problema da fantasia na raiz — assinaturas criptográficas que um rastreador não consegue forjar, de modo que a identidade passa a ser provada, não digitada (Cloudflare, 2025). Ainda é cedo e a adoção não é ampla, e ele só vai ajudar com os rastreadores que querem ser identificados. Os que vestem catorze rostos nunca foram o alvo de um padrão de confiança.

Perguntas frequentes

#

Dá para bloquear rastreadores de IA com o robots.txt?

#

Em parte, e depende inteiramente da honestidade do rastreador. Nos nossos logs de 17 dias, os grandes rastreadores declarados — GPTBot, ClaudeBot, GoogleOther — verificaram como genuínos de 97% a 100% das vezes e de fato respeitam o robots.txt, então listá-los ali os detém. Mas o robots.txt é um pedido voluntário, não uma regra imposta: um rastreador que o ignore, ou um que vista um user-agent falso, passa direto. O arquivo detém os educados e informa os honestos; para um impostor, não significa nada.

Como verificar se um rastreador de IA é mesmo o GPTBot ou o ClaudeBot?

#

Não confie na string do user-agent — confira o IP de origem. OpenAI, Anthropic, Google e Amazon publicam, cada uma, as faixas de endereços que seus rastreadores usam, então uma requisição de GPTBot verdadeira vem de um IP dentro da lista publicada da OpenAI. Para rastreadores em nuvem compartilhada (como o Amazonbot na AWS), acrescente uma conferência de DNS reverso: verifique se o hostname do IP resolve de volta para o domínio oficial de rastreio do operador, nos dois sentidos (FCrDNS). Se um acesso de “GPTBot” vier de um endereço que a OpenAI nunca publicou, não é o GPTBot.

O llms.txt mantém a IA longe do meu conteúdo?

#

Pelas nossas evidências, não. Publicamos um arquivo llms.txt e, ao longo de 17 dias, os rastreadores de IA buscaram nossas páginas reais centenas de vezes enquanto buscavam o llms.txt zero vez — o GPTBot leu 310 páginas e o arquivo, nenhuma. Um estudo à parte, com 300.000 domínios, não encontrou correlação mensurável entre ter um llms.txt e qualquer mudança no comportamento dos rastreadores de IA. É um padrão proposto que os rastreadores a que ele se dirige, em grande parte, ainda não estão lendo.

O que é um rastreador de IA falsificado?

#

É uma requisição que carrega o nome de user-agent de uma empresa de IA real, mas não vem dessa empresa. Nos nossos logs, quatro redes comerciais de hospedagem — do tipo que qualquer um aluga — mandaram tráfego rotulado como 14 empresas de IA diferentes, incluindo uma rede que se fez passar pelas catorze sozinha. Como o user-agent não passa de uma sequência de texto que o remetente escolhe, a personificação é trivial; só conferir o IP de origem contra as faixas publicadas revela se o nome é merecido ou apenas vestido.

Se não dá para deter todo rastreador, o que de fato protege minha privacidade?

#

O único controle que sobrevive a um rastreador inconferível ou desonesto é decidir o que você torna público desde o começo. O robots.txt e o bloqueio das faixas publicadas vão deter a maioria honesta, o que vale a pena fazer. Mas, para os rastreadores que você não consegue verificar — e para os impostores que ignoram toda regra —, parta do princípio de que qualquer coisa postada em aberto já é legível por sistemas que você não pode auditar, e trate a própria publicação como o ponto de decisão.

Fontes

#

Nosso artefato de teste: o resumo da verificação — contagens agregadas de requisições por user-agent, contagens verificadas e a propriedade das redes no nível /24, da janela de logs de 19 de junho a 5 de julho de 2026. Nenhum dado de visitante está incluído; os IPs dos rastreadores são infraestrutura pública, divulgada com granularidade não mais fina que /24.

Uma nota sobre o que isto é e o que não é. Este é um único site novo e de baixo tráfego ao longo de 17 dias — um estudo de caso, não um censo. As porcentagens descrevem os nossos logs, não a web. O que se generaliza não são os números, e sim o método e o seu veredito: verifique contra a identidade publicada e o mundo dos rastreadores se parte entre o conferível e o não conferível. Vamos repetir a mesma medição na marca dos 90 dias e publicar a diferença — se o cluster impostor cresce, se os rastreadores sem método algum dia se tornam verificáveis e se os honestos continuam honestos.

Este é o complemento, do lado dos rastreadores, ao nosso argumento de que a web aberta está sendo cercada — lida mais por máquinas do que por pessoas — e o desdobramento empírico do modelo de ameaça da era da IA que abriu esta série. Se você quer ver o que uma dessas máquinas conseguiria montar sobre você a partir do que já é público, a nossa ferramenta de autoauditoria aplica a mesma disciplina de verificar, não confiar, sobre a sua própria pegada.