Rastreadores de IA: o que 17 dias de registros permitem verificar (2026)

Financiamento: o CypherpunkGuide pode receber uma comissão por compras elegíveis feitas por links de afiliados claramente identificados nos artigos pertinentes. Não veiculamos publicidade de vigilância, scripts de redes de anúncios, pixels de rastreamento nem artigos patrocinados.

Correção de 24 de setembro de 2026: a versão original exagerava o que a comparação de IPs poderia comprovar sobre identidade e bloqueio. Também apresentava llms.txt como mecanismo de recusa e tratava 14 rótulos como 14 empresas. Corrigimos essas afirmações e o resumo de dados, além de retirar conclusões sem sustentação sobre Amazonbot e DNS. O período observado continua sendo de 19 de junho a 5 de julho de 2026; esta atualização não inclui um novo experimento de rastreamento.

Quem publica um site precisa separar três perguntas: como o visitante se apresenta, se o endereço de origem corresponde a uma faixa documentada para aquele rastreador e se alguma regra realmente impediu a entrega de conteúdo. Nossos registros ajudam a responder às duas primeiras. Não respondem à terceira.

User-agent é o texto que um programa envia para se identificar. O próprio remetente o escolhe. Comparar o IP com uma lista acrescenta evidência, mas o alcance da lista e sua data de obtenção importam. O robots.txt pede aos rastreadores compatíveis que não acessem determinados caminhos. Uma regra no servidor ou na rede de distribuição de conteúdo, a CDN, pode impor uma restrição de acesso. Nenhum deles se confunde com llms.txt, uma proposta para apresentar informações úteis do site a modelos de linguagem.

O modelo de ameaças para a era da IA previa verificar o tráfego de rastreadores deste site. Os 17 dias de registros mostram os limites de confiar no nome apresentado por um programa, inclusive limites que nossa interpretação original deixou passar.

O que os registros de 17 dias contêm

#

Os agregados preservados somam 1.635 requisições classificadas em 14 famílias de user-agent relacionadas à IA. Uma família é uma categoria atribuída a partir de um rótulo no texto do user-agent, não uma empresa diferente nem uma string completa e única. A classificação inclui CCBot e um rótulo Google-Extended; não equivale a um levantamento de 14 rastreadores comerciais de treinamento.

O resumo corrigido conserva as contagens e explica suas limitações. Ele contém agregados e alguns prefixos de rede, sem IPs de origem completos nem registros individuais de requisições. Você pode conferir as contas, mas não refazer a análise dos IPs somente com esse arquivo.

As outras sete categorias somam 101 requisições. Os percentuais são arredondados e calculados por requisição, não por visitante, página ou endereço de origem único.

Aqui, correspondência significa que um IP observado estava no conjunto de referência usado em julho. Isso não autentica o programa, não identifica quem o operou nem demonstra como o conteúdo foi usado. A ausência de correspondência pode decorrer de outro remetente, de uma referência incompleta ou desatualizada ou de erro de processamento. Sozinha, não comprova falsificação de identidade.

Correspondência de IP não mede a eficácia do bloqueio

#

Os percentuais de GPTBot e ClaudeBot dizem respeito aos endereços de origem. Não realizamos um experimento controlado de bloqueio com comparação entre antes e depois, nem observamos o uso do conteúdo em treinamento. A afirmação original de que esses percentuais comprovavam o funcionamento do robots.txt não tinha sustentação.

A documentação de rastreadores da OpenAI distingue funções e controles. As orientações da Anthropic explicam as instruções de robots.txt e alertam que bloquear IPs pode impedir o rastreador de lê-las. São declarações dos operadores sobre seus sistemas, não resultados do nosso experimento.

As orientações de verificação do Google também dependem da categoria e do método documentado. GoogleOther é um rastreador de uso geral. Google-Extended é um identificador separado para definir preferências de uso, não um user-agent HTTP próprio. Requisições com esse rótulo nos registros não medem como o Google aplicou tal preferência.

Para testar um bloqueio, registre a regra, quando entrou em vigor, a categoria de rastreador e se as requisições posteriores receberam conteúdo. Separe os resultados de atribuição dos resultados de acesso. Nosso conjunto publicado não contém esse experimento e não permite calcular uma taxa de sucesso do bloqueio ou de exclusão do treinamento.

Quatro redes, catorze rótulos e operadores desconhecidos

#

O resumo histórico registra 99 requisições em quatro prefixos /24, com 14 rótulos. Todos os 14 apareceram em um desses prefixos. Um /24 reúne 256 endereços IPv4. Aqui, serve para agrupar dados; não é a menor alocação possível nem delimita uma identidade.

Os 14 rótulos incluem produtos da mesma empresa e programas que buscam páginas a pedido de usuários. Essa contagem usa uma seleção diferente da tabela de 1.635 requisições. Não é um subconjunto simples que possa ser somado ou subtraído dela.

A primeira linha serve de comparação. Os quatro prefixos restantes compõem as 99 requisições.

O bloco vizinho 216.73.217.0/24 responde por outras 265 requisições ClaudeBot, completando as 546 correspondências. Essas contagens descrevem a amostra. Não estabelecem que uma infraestrutura legítima sempre use um único nome.

RDAP, o serviço de consulta aos registros públicos usado na coluna de organização, informa a quem o bloco está registrado, não qual cliente enviou uma requisição. Dois prefixos registrados à mesma hospedagem não demonstram um único responsável. A diversidade de rótulos justifica investigar a origem, mas não comprova que um operador se passou por 14 empresas ou ignorou o robots.txt.

Amazonbot: uma diferença na referência continua sem solução

#

A análise preservada registra 120 correspondências em 344 requisições com rótulo Amazonbot, mas não podemos apresentar os 35% como uma taxa validada de identificação do Amazonbot. Foram extraídos 525 endereços de uma página para a qual as notas de pesquisa registravam uma lista anunciada de 489. As notas apontavam a possível inclusão de endereços do código da página que não pertenciam ao rastreador. A diferença não foi resolvida.

O resumo corrigido mantém as 120 correspondências e as 224 ausências de correspondência como resultados históricos do processamento. Antes de interpretar essa divisão como comparação com a lista oficial, é necessário validar novamente o conjunto extraído.

A versão original dizia ainda que 18 endereços sem correspondência haviam falhado na verificação DNS da Amazon. O agregado DNS preservado descreve outra amostra, de 14 endereços, e não sustenta essa afirmação. Retiramos a conclusão sobre os 18 endereços, sem substituí-la por uma amostra diferente. Não foi demonstrado que as 224 requisições sem correspondência vieram de impostores.

Uma nova verificação deve usar a documentação atual do Amazonbot e conservar os dados exatos de referência e o método de extração. Saber que um endereço pertence a um provedor de nuvem não identifica um rastreador específico ou seu cliente.

A falta de um nome DNS não comprova identidade

#

A análise de julho não estabeleceu a origem das 179 requisições identificadas como meta-externalagent nem das 112 identificadas como Bytespider. É uma limitação deste trabalho, não prova de que seja impossível verificar esses rastreadores ou de que hoje não exista um método para isso.

Para nove endereços com rótulo Meta, o resultado DNS armazenado não apresenta nome. O verificador classificava toda falha de consulta como NXDOMAIN, inclusive falhas que poderiam ter outras causas. Não podemos, portanto, afirmar que os nove casos confirmam nomes DNS inexistentes. Uma consulta sem resultado tampouco revela se o remetente cumpriu uma regra de rastreamento.

llms.txt orienta o uso do conteúdo; não recusa o acesso

#

llms.txt é uma proposta para indicar conteúdo útil a modelos de linguagem, não para mantê-los fora do site. A proposta tem outra finalidade que não a do robots.txt. Seu propósito original, em 2024, já era informativo; não se trata de uma função de recusa acrescentada depois do estudo.

A nota de pesquisa de julho registra zero requisições classificadas como IA ao nosso /llms.txt durante o período observado. Essa contagem por caminho não pode ser recalculada a partir dos agregados JSON preservados e usados nesta correção. Mantemos o número como observação relatada, com essa limitação. O total de 310 para GPTBot conta requisições, não 310 páginas distintas nem 310 downloads bem-sucedidos.

Mesmo aceitando o zero relatado, ele informa apenas que a coleta e a classificação deste site não registraram tais requisições naquele período. Não mede a adoção de llms.txt na web, citações por IA ou a eficácia de um mecanismo de recusa. A comparação anterior com um estudo externo sobre citações não sustentava essa conclusão e foi removida.

Verifique a origem e o acesso separadamente

#

O resultado útil é mais restrito do que a primeira versão afirmava: rótulos de user-agent, correspondências de IP e resultados de controles de acesso são evidências diferentes. Preserve essa distinção ao interpretar seus registros.

1. Use os controles documentados para cada finalidade. Diferencie rastreadores de treinamento, de busca e programas que acessam páginas a pedido de usuários. Correspondência de IP não testa cumprimento de regras.
2. Guarde a referência e o método. Registre a data de obtenção, o conjunto exato de endereços, os critérios de comparação e as falhas não resolvidas. Hospedagem compartilhada e ausência de correspondência exigem cautela, não atribuição automática.
3. Teste o resultado das restrições de acesso. Se o conteúdo precisa ser privado, exija autorização antes de entregá-lo e confirme que requisições sem autorização são recusadas. Um arquivo público de preferências não impede acesso.
4. Escolha o que vai para o registro público. Impedir acessos futuros ao servidor não resolve cópias já obtidas em outros lugares. Esse limite se relaciona a publicações que você não consegue apagar por completo e a inferências feitas a partir de fragmentos públicos.

Perguntas frequentes

#

É possível bloquear rastreadores de IA com robots.txt?

#

Você pode publicar instruções para os rastreadores que respeitam as regras pertinentes, mas robots.txt não impõe controle de acesso. Nossos resultados de correspondência de IP não medem esse cumprimento. Siga os controles documentados pelo operador e teste separadamente o resultado do acesso. Para conteúdo privado, restrinja quem pode obtê-lo.

Como verificar uma requisição identificada como GPTBot ou ClaudeBot?

#

Compare o IP de origem com a referência adequada do operador, registrando a versão e a data de obtenção. Siga o método documentado para aquele rastreador. Uma correspondência contribui para atribuir a origem dentro desses limites. A falta dela, sozinha, não prova falsificação de identidade. A comparação também não revela se o conteúdo entrou nos dados de treinamento de um modelo.

llms.txt impede que a IA acesse meu conteúdo?

#

Não. A proposta orienta modelos de linguagem a encontrar conteúdo útil; não recusa rastreamento nem uso em treinamento. Nossa nota de julho relata zero requisições classificadas como IA ao arquivo em 17 dias. Essa contagem não testa exclusão e não pode ser recalculada a partir dos agregados JSON preservados.

O que é um rastreador de IA falsificado?

#

É uma requisição que usa o nome de um rastreador sem ter sido enviada por ele. O remetente escolhe o texto do user-agent, mas uma inconsistência no rótulo ou hospedagem compartilhada não bastam para comprovar falsificação. As observações dos quatro prefixos recomendam cautela; não estabelecem quem enviou as requisições nem se os operadores ignoraram o robots.txt.

O que fazer se eu não conseguir identificar todos os rastreadores?

#

Use e teste controles de acesso para o conteúdo que não deve ser público. Nas páginas públicas, aplique as preferências documentadas, acompanhe os resultados e explicite as incertezas. Nenhum registro de requisições prova que uma cópia nunca foi obtida em outro lugar ou usada posteriormente.

Fontes

#

Documentação externa verificada em 24 de setembro de 2026. As datas das cópias arquivadas diferem do período observado e não reconstituem as listas de IPs originais.

O resumo agregado corrigido conserva as contagens históricas e documenta as conclusões retiradas. A atualização de 24 de setembro revisa os agregados e métodos preservados; não apresenta uma nova medição de 90 dias nem um experimento controlado de bloqueio.

Este estudo contribui para a discussão sobre o cercamento da web aberta, sem usar os registros de um único site para comprovar suas afirmações mais amplas. Nossa ferramenta de autoauditoria trata de outra pergunta: quais informações públicas sobre você podem ser encontradas e verificadas.