AI爬虫的身份能核实到哪一步？17天日志研究（2026）

资金披露：读者通过相关文章中明确标注的推广链接完成符合条件的购买时，CypherpunkGuide可能获得佣金。本站不投放监控型广告，不使用广告网络脚本或跟踪像素，也不刊登付费赞助文章。

2026年9月24日订正：原文夸大了IP匹配对爬虫身份及拦截效果的证明力，还把llms.txt当作拒绝抓取的机制，把14个标签写成14家公司。本文及附带摘要已修正这些说法，并撤回缺乏支持的Amazonbot及DNS结论。观察期仍为2026年6月19日至7月5日；本次更新没有新增爬虫实验。

判断访问日志时，有3个问题不能混为一谈：来访程序自称什么、来源地址是否匹配有记录的爬虫地址范围，以及访问规则是否真的阻止了内容获取。我们的日志能为前两个问题提供线索，不能回答第三个。

user-agent是程序用来自报身份的一段文字，由发送方自行填写。IP清单匹配增加了来源地址方面的证据，但必须同时看参考清单的范围和保存日期。robots.txt向遵守相应规则的爬虫提出要求，告诉它们不要获取哪些路径；服务器或内容分发网络（CDN）的封锁规则则直接执行访问限制。两者也都不同于llms.txt：后者是一项提案，旨在向语言模型提供有用的站点信息。

此前的AI时代威胁模型提出要检查本站的爬虫流量。这份17天记录的价值，在于说明仅凭日志里的名字能判断什么、不能判断什么，也包括原文解读时忽略的限制。

17天记录包含哪些数据

#

保存下来的汇总记录共有1,635次请求，分为14个AI相关user-agent类别。分类依据是user-agent文字中的标签，并不意味着14家公司，也不是14种完整且不重复的user-agent字符串。其中还包括CCBot和Google-Extended标签，不能把这份表当作14种商业训练爬虫的普查。

订正后的核验摘要保留了计数，并说明其适用范围。它只包含汇总数据和部分网络前缀，不含完整来源IP或逐条请求日志。读者可以复核算术，却无法仅凭这个文件重做来源IP分析。

其余7个类别合计101次请求。百分比经过四舍五入，以请求次数为分母，不代表独立访客、页面或来源地址的比例。

这里的匹配，仅指观察到的来源IP属于7月分析所用的参考集合。它不能认证发送请求的软件，不能识别背后的操作者，也不能说明取走的内容如何使用。未匹配可能来自无关发送方，也可能源于清单不完整、过时或处理错误，不能单凭这一项就认定冒充。

IP匹配率不能证明拦截有效

#

GPTBot和ClaudeBot的匹配率反映的是来源地址核对结果。**我们没有进行受控的封锁前后对照实验，也没有观察内容是否用于训练。**原文据这些百分比断言robots.txt有效，证据不足。

OpenAI爬虫文档区分不同爬虫的用途及控制方法。Anthropic说明介绍robots.txt指令，并提醒IP封锁可能妨碍爬虫读取这些指令。这些是运营方对自身系统的说明，不是我们实验得出的结果。

Google核验指南同样要求按爬虫类别采用对应方法。GoogleOther是通用爬虫；Google-Extended则是另一个控制标记，没有独立的HTTP user-agent。日志中带有该标签的请求，不能用来衡量Google如何执行这项控制。

测试拦截时，需要记录具体规则、启用时间、爬虫类别，以及后续请求是否拿到了内容。来源归属与访问结果应分栏记录。本文数据没有这样的实验，因此算不出拦截成功率或排除训练的比例。

4个网络出现14个标签，操作者仍不确定

#

历史网络摘要记录了4个/24前缀中的99次请求，共出现14个标签，其中一个前缀出现了全部14个标签。/24包含256个IPv4地址；这里用它作为汇总粒度，并不表示最小地址分配单位，也不是身份边界。

这14个标签包含同一公司的不同产品，也包含由用户触发的内容获取程序。网络统计和上方1,635次请求表的筛选范围不同，不能把它当作可直接加减的简单子集。

下表第一行用于比较，后4行才构成99次请求的统计。

相邻的216.73.217.0/24另有265次ClaudeBot请求，合计为记录中的546次匹配。这是本样本的计数，不意味着合法基础设施永远只使用一个名称。

表中的机构信息来自RDAP，即地址登记信息的公开查询服务。它说明地址登记在谁名下，却不能说明由哪个客户发起请求。两个前缀登记在同一家托管商名下，也不足以认定背后只有一个操作者。标签多样值得进一步核查，但不能据此断言一个操作者冒充14家公司，或无视了robots.txt。

Amazonbot的参考清单仍有未解决的问题

#

保存的分析记录称，344次Amazonbot标签请求中有120次匹配，但35%不能当作经过验证的Amazonbot身份比例。分析程序从网页中提取了525个地址，研究笔记记录的官方清单数量却为489。笔记当时已指出，可能误提取了页面代码中的非爬虫地址，而这一差异没有解决。

订正摘要保留120次匹配和224次未匹配，作为历史处理结果。在把它们解释为官方清单的比对结果前，必须重新验证提取出的参考集合。

原文还称18个未匹配地址全部未通过Amazon的DNS核验。现存DNS汇总对应的却是另一组14个地址，不能支持那句话。我们撤回18个地址的结论，不用另一组样本替代原样本。224次未匹配请求并未被证实为冒充请求。

重新核查时，应使用当前Amazonbot文档，保留确切的参考数据和解析方法。一个地址属于某家云服务商，不足以识别具体爬虫或使用它的客户。

DNS未返回名称，不等于确定了身份

#

7月分析没有确认179次meta-externalagent标签请求及112次Bytespider标签请求的来源归属。这是本次分析的限制，不代表这些爬虫在原理上无法核验，也不能说明今天不存在核验方法。

对于9个Meta标签地址，保存的DNS结果记录为未取得名称。但检查程序把所有查询失败都标成NXDOMAIN，可能包括其他原因导致的失败。因此，不能断言这9个地址都已确认不存在对应DNS名称。查询失败也不能证明发送方是否遵守了抓取规则。

llms.txt是内容指南，不是拒绝抓取的工具

#

llms.txt提案旨在引导语言模型找到有用的站点内容，并不要求它们停止访问。提案本身与robots.txt用途不同。它在2024年提出时就用于提供信息，并不是本研究之后才新增的拒绝抓取功能。

7月研究笔记记载，观察期内，归为AI类别的请求对本站/llms.txt的访问数为零。但本次订正使用的汇总JSON没有足够的路径级数据，无法重新计算这一数字。我们保留这项笔记中的观察，同时明确其限制。GPTBot的310次同样只是请求数，不是310个不同页面，也不是310次成功下载。

即使接受笔记中的零次记录，它也只说明本站当时的日志和分类方法没有记录到这类请求。它无法衡量全网采用llms.txt的程度、AI引用效果或拒绝抓取机制的有效性。原文援引外部引用研究来支持这些判断并不成立，现已删除。

核对来源与测试访问限制，要分开进行

#

本次研究能支持的结论，比原文狭窄：**user-agent标签、参考IP匹配和访问限制是否成功，是3类不同的证据。**分析日志时，把它们分开，才能知道每项判断究竟有多少依据。

1. **按用途采用运营方说明的抓取控制。**区分训练爬虫、搜索爬虫和用户触发的获取程序。IP匹配不等于遵守规则。
2. **保留参考数据和核对方法。**记录获取日期、完整地址集合、匹配规则及未解决的失败。共享托管或地址未匹配应促使你谨慎核查，不能自动确定来源归属。
3. **根据访问结果测试规则。**需要保密的内容，应先授权再提供，并测试未经授权的请求确实会被拒绝。公开的拒绝抓取文件不是访问屏障。
4. **决定哪些内容进入公开记录。**控制服务器今后的访问，无法解决已经流传出去的副本。这与不能彻底撤回的帖子及从公开碎片推断个人信息涉及的限制相连。

常见问题

#

robots.txt能拦住AI爬虫吗？

#

你可以用它向遵守相应规则的爬虫发布指令，但robots.txt本身不强制限制访问。我们的IP匹配结果没有测量爬虫是否遵守这些指令。应采用运营方说明的控制方法，并单独测试实际访问结果。内容需要保密时，就要限制谁能获取它。

怎样核验标为GPTBot或ClaudeBot的请求？

#

将来源IP与该运营方适用的参考数据比较，记录版本和获取日期，并按该爬虫的文档采用相应核验方法。匹配能在这些条件内支持来源判断；未匹配本身不能证明冒充。它也不能告诉你内容是否进入了模型训练数据。

llms.txt能让AI不接触我的内容吗？

#

不能。该提案为语言模型提供有用内容的指南，并非拒绝抓取或拒绝训练的机制。7月笔记称，17天内没有归为AI类别的请求访问这个文件，但这不是排除访问的测试，保留的汇总JSON也无法重算该数字。

什么是冒充AI爬虫的请求？

#

请求使用某个爬虫的标签，却并非由该爬虫发出，就是冒充。发送方可以自行填写user-agent，但标签与来源不一致、或使用共享托管服务，都不足以单独证明冒充。4个前缀的观察结果值得警惕，却没有确定操作者身份，也没有证明他们无视robots.txt。

无法识别每个爬虫时，我能做什么？

#

对不应公开的内容设置并测试访问限制。对公开页面，采用有文档依据的抓取偏好设置，观察结果，并明确分析中的不确定性。任何请求日志都无法证明内容副本从未在别处被获取，或此后从未被使用。

来源

#

外部资料核查日期为2026年9月24日。存档日期与观测期不同，不能用来重现当时采用的IP列表。

订正后的汇总摘要保留历史计数，并记录已撤回的结论。9月24日更新复查了现存汇总及方法，没有发布90天后的重新测量，也没有新增受控拦截实验。

这个案例为开放网络被圈占的讨论提供参考，但一个站点的日志不能证明其中更广泛的主张。自查工具处理的是另一个问题：关于你的哪些公开信息可以被找到并核实。