AI クローラーを、17日間見張った——名乗りは、誰でも羽織れる衣装だった（2026年）

資金について：CypherpunkGuide は監視型広告を一切載せない——広告ネットワークも、トラッキングピクセルも、スポンサー記事もない。運営は透明な収益源による：現在は読者からの寄付、将来は購読と編集方針に合致した affiliate。私たちは広告主ではなく、読者に向き合う。

あなたの書いたものを AI モデルに読ませない——そのための手引きは、どれも決まって同じ三つの手立てで終わる。クローラーの名前を robots.txt（ボットに「ここは来ないで」と丁寧に頼むファイル）に書き足す。llms.txt（同じ発想を AI 向けに焼き直した、より新しいファイル）を置く。あるいは、契約先のホストに「GPTBot を弾いてくれ」と頼む。三つとも、同じことを当てにしている——戸口を叩いているボットが、その user-agent の名乗りどおりの相手だ、という前提だ。user-agent とは、プログラムが自分を名乗るために送る、ただの一行の文字列にすぎない。打ち込むだけのもので、証明されたものではない——そして、何であれ、何とでも打ち込める。

だから私たちは、理屈をこねるのをやめて、実際に見ることにした。17日間——2026年6月19日から7月5日まで——このサイトに触れた、自ら名乗る AI クローラーを、一つ残らず記録した。14種類の商用 AI の user-agent にわたる、1,635件のリクエスト。ClaudeBot や GPTBot から、ほとんどのサイト運営者が目にすることのない名前まで。そして、助言がいつも飛ばす一手を踏んだ。リクエストごとの本当の発信元アドレスを、その名を掲げる会社自身が公表しているアドレス一覧と、突き合わせたのだ。結果は、きれいに三つのグループに分かれた。そして、良い知らせと呼べるのは、そのうち一つだけだった。これは、私たちが以前に交わした約束——このサイト自身のクローラーのログを見張り続けるという約束——の裏にある、実際の計測だ。そして、別の場所で論じた開かれたウェブの囲い込みを、足元で支える実証的な土台でもある。

居心地の悪い発見は、AI クローラーが嘘をつく、ということではない。いちばん止めたい相手に限って、こちらの道具がまるで届かない——という事実の方だ。なぜなら、opt-out（AI に「読み込まないでくれ」と申し入れる仕組み）という枠組みは、そもそもクローラーが従うだけの正直さと確かめられるだけの透明さの両方を備えているときにしか、働かないからだ。以下に記すのは、小さな一サイトの17日間のログが、どちらがどちらなのかについて明かしたことだ。

何を計り、あなたならどう再現するか

#

私たちは、連続する17日ぶんのエッジのログを集め、リクエストを user-agent の文字列ごとにまとめ、商用 AI システムの名を掲げる14種類を手元に残した。ここまでは、むき出しの自己申告にすぎない——ボットが「私は GPTBot です」と言った、というだけのことだ。検証は、それとは別の、もっと難しい問いであり、そして客観的な答えを持つ。そのリクエストの発信元 IP は、OpenAI、Anthropic、Google、Amazon が自社のクローラー用に公表しているアドレスの範囲の中に、収まっているか。主要な事業者はどこも、まさにこの一覧を公開している——サーバーが、本物のボットと偽者とを見分けられるように。

1,635件のヒットは、くっきりとした序列に整理された。user-agent ごとの完全な集計は、プレーンテキストの要約として、この記事に添えてある——合算した件数だけで、訪問者のデータは含まず、クローラーのネットワークは /24 の粒度までしか名指ししていない——/24 とは、連続する256個の IP アドレスのかたまりで、この種のネットワークが割り当てられる最小の単位だ（検証の要約）。

さらに7種類の、少量のエージェント——合わせて101件のリクエスト——が、残りを埋めて14種類になる。全リストは要約ファイルの中にある。

**検証済みのリクエストとは、その発信元 IP を、名を掲げる会社自身が請け合っているものだ。**この割合は、リクエストの件数で重みづけしてある。そして、あるボットの数が少ないときは、そうとはっきり断っておく——PerplexityBot の「21%」は、24件のうち5件のことであり、会社を裁くにはあまりに薄い。だから、以下でもそのように扱う。ここに並ぶどの数字にも、二つの但し書きがついて回る。一つ、これは17日間の、できたばかりでアクセスも少ない一サイトの話であって、ウェブ全体ではない。もう一つ、公表されたアドレス一覧は、その日付の分しか新しくない——Perplexity のものは17か月前のもので、この点にはあとで立ち戻る。

名乗るクローラーは、おおむね本物だ

#

まずは良い知らせから始めよう。それは本物で、しかも大切なことだからだ——大手ラボのクローラーが自ら名乗るとき、それはほとんどいつも、本当のことを言っている。**GPTBot は97%、ClaudeBot は99%、GoogleOther は100%**が、各社の公表するアドレス範囲と一致した。「GPTBot」「ClaudeBot」と名乗る通信の圧倒的多数は、正真正銘、OpenAI と Anthropic の設備から発していた。ただし、ここで特に AI の学習を拒みたい人には、一つ注意がいる。GoogleOther は汎用の Google クローラーであって、Gemini の学習を実際に司る Google-Extended とは、別ものだ——そして、私たちが記録した Google-Extended のヒットは、一件残らず、Google ではなく、後で見る詐称の一団から来ていた。

皮肉屋の見立てが取り違えているのは、まさにこの部分だ。もしあなたが GPTBot を robots.txt に書き加え、あるいはエッジで Anthropic のアドレス範囲を弾けば、本物の GPTBot と本物の ClaudeBot は、確かに止められる——両社はアドレスを公表しているし（OpenAI、Anthropic）、ファイルを尊重する。そして、独立した、ウェブ全体を見渡すデータもまた、名乗る大手のクローラーが主役だと裏づけている——たとえ各社の取り分が年ごとに移ろっても、だ（Cloudflare、2025年）。正直なクローラーは、すでに片のついた問題だ。もしすべての AI ボットが GoogleOther のように振る舞ってくれるなら——名を掲げ、範囲を示し、確かめられるのなら——この記事は、ただの脚注で済んでいただろう。

名乗るクローラーの中に、一つだけ、このきれいな仕分けにうまく収まらないものがあり、公正を期すなら名指ししておかねばならない。私たちの24件の PerplexityBot のヒットのうち、Perplexity の公表する範囲と一致したのは、わずか5件だった——だが、24件では、一社を裁くにはあまりに薄い。おまけに Perplexity の一覧そのものが17か月前のもので、一致しないことは、古びたファイルの表れ以上の何ものでもないかもしれない。背景には、現在進行形の論争がある。Cloudflare は2025年8月、Perplexity が忍びの、名乗らないクローラーを使ってクロール禁止の決まりをすり抜けている、と報告した（Cloudflare、2025年）。対して Perplexity は、その見立てを公然と退けた（Perplexity、2025年）。利用者に促され、求めに応じてその場でページを取りに行く「エージェント」は、先回りして巡回する「ボット」と同じではない——そして Cloudflare は、第三者のクラウドブラウザサービスの通信を、Perplexity 自身のものと取り違えたのだ——というのが、彼らの言い分だ。IP アドレスだけからは、外部の偽者と、その会社自身の名乗らない取得役とを、見分けることはできない——だから私たちは、24件をもって Perplexity について何かを結論することはせず、ただ、こちらの検証が最もうまく通らなかった、名乗るクローラーとして書き留めておく。

ずっと心に引っかかっていたのは、別の、もっと鋭い数字だ。検証を通ったクローラーの中に残った、ほんのわずかな端数のことである。ClaudeBot の、検証を通らなかった7件。GPTBot の9件。これらは、でたらめな雑音ではなかった。その一件残らずが、同じ一つの場所へとたどり着いた——どちらの名を名乗る筋合いもない場所だった。

一つのネットワークが、14 の顔を使い分けていた

#

この記事のタイトルは、ここで見つけたものから来ている。問題のアドレスのかたまり四つ——四つの /24——は、どの会社の公表範囲からも、すっかり外れていた。そして17日間、この四つのかたまりだけで、14社ぶんの AI 企業の user-agentを掲げた99件のリクエストが生み出された。うち一つの /24——185.213.174.0/24——は、たった一つで14社すべてになりすましていた。GPTBot、ClaudeBot、PerplexityBot、Amazonbot、Google-Extended、Bytespider、cohere-ai、そしてさらに七つ——すべてが、この一つの小さなネットワークから来ていた。

では、それを正当な範囲と並べてみよう。隣り合う二つの Anthropic のかたまり——216.73.216.0/24（281件）と、その隣の 216.73.217.0/24（265件）——は、二つ合わせて546件のリクエストを送ってきた。そして、その一件残らずが ClaudeBot を名乗っていた。どちらのかたまりを覗いても、一つの主体、一つの身元だ。それぞれのネットワークを誰が所有しているかを引いてみれば、この対比が話を決定づける。所有者は RDAP（IP が、どの組織に割り当てられたのかを引ける、公開の登録簿）からわかる。

正当なかたまりは、Anthropic 自身の公表範囲の中に収まっている——そして、私たちが RDAP で引いた一つは、Anthropic, PBC として返ってくる。なりすましのサブネットは、商用のホスティング会社に登録されている——誰でも時間単位で借りられるインフラだ——しかも、四つのうち二つが、同じ借り物の会社にたどり着く。たった一人の運営者が、一つの衣装箱を回している、そのしるしだ。本物のクローラーが一つの身元しか持たないのは、それが一つの主体だからだ。詐称する者がいくつもの顔を使い分けられるのは、顔だけなら、いくらでも安く付け替えられるからだ。user-agent は身分証ではない。衣装だ。そして robots.txt は、扉に貼られた張り紙にすぎない——読んで従うかは相手しだいで、衣装をまとった者ほど、平気で素通りしていく。

Amazonbot——借り物のサーバーと見分けのつかないボット

#

Amazonbot は、検証が本当に難しくなる場所であり、しかも Amazon が隠れていないからこそ、教えるところが多い。この会社も、ほかと同じようにクローラーのアドレス一覧を公表している——にもかかわらず、私たちの344件の「Amazonbot」のヒットのうち、それと一致したのは、わずか35%（120件）だけだった。残りの65%——179の異なるアドレスから来た224件のリクエスト——は、Amazon の一覧には、まるで載っていなかった。

理由は、構造にある。Amazon の本物のクローラーは、誰でも借りられるのと同じクラウド——AWS EC2（Amazon が誰にでも貸し出すクラウドサーバー）——の上で動いている。だから EC2 に潜む偽者は、ネットワークの層で見るかぎり、本物とよく似て見える。これに対する Amazon 自身の答えが、二つ目の確認だ——reverse-DNS（逆引き）の検査、すなわち FCrDNS（その IP のホスト名が、crawl.amazonbot.amazon という公式ドメインへ、正引き・逆引きの両方向できちんと戻るかを確かめる仕組み）である。私たちは、一致しなかったアドレスのうち18件を標本にとって、これを走らせた。18件すべてが、ありふれた ec2-*.compute-1.amazonaws.com のホスト——ただの借り物のサーバー——へと解決し、Amazon のクローラー用ドメインへ戻ったものは、一つもなかった（Amazon の検証方法）。これらは、一覧に載っていない新しい Amazon の IP だったのではない。Amazon であるための、Amazon 自身の試験に落ちたのだ。

この教訓は、一つのボットの話にとどまらない。借り物のクラウドの上で動くクローラーは、最も偽造しやすい——偽造する側が、寸分たがわぬ同じクラウドを借りるからだ。そこでの検証は、アドレス一覧で止まっていてはいけない。運営者が握っている、暗号による、あるいは DNS に根を張った証明が要る。Amazon は、少なくとも一つは用意している。何一つ用意していないところも、ある。

そもそも確かめようのないクローラーたち

#

いちばん手強いグループは、嘘つきではない——どちらの向きにも検証しようのない、クローラーたちだ。meta-externalagent（Meta の AI クローラー）は179件、Bytespider（ByteDance のもの）は112件のリクエストを送ってきた。だが、どちらの会社についても、その一件すら突き合わせられる、公表された IP 範囲も、公式の reverse-DNS の方法も、見つけられなかった。Meta のアドレスの標本（9件）を逆引きしてみると、返ってきたのは NXDOMAIN——登録された名前が、そもそも一つもない、という応答だった。意図してか、放置の末か、突き合わせるべきものが、何もないのだ。ヘッダを信じろと求められ、そのための手立ては何一つ与えられない。

これこそ、問題全体の静かな核心であり、しかもこれはプライバシーの問題であって、ウェブ管理者のちょっとした不便ではない。あなたが売り込まれてきた opt-out——robots.txt、「ボットを弾け」、さらには新顔の llms.txt までも——が持つ力は、それが本当に効いたのかどうかを、あなたが見分けられる、その範囲を超えない。opt-out は、AI クローラーの世界を三つに分ける。そして、あなたの道具が届くのは、そのうち最初の一つだけなのだ。

そして、より新しい、AI 向けに作られた対処法もまた、私たち自身のログの上では、分がいいわけではなかった。私たちは llms.txt を置いている。だが17日間を通して、**AI クローラーは、私たちのページを数百回も取りに来た——GPTBot だけで310回——のに、llms.txt というファイルを取りに来た回数は、きっかりゼロだった。**30万ドメインを調べた研究も、大規模に同じ判定に達している——llms.txt があるかどうかと、AI クローラーの振る舞いとの間には、測れるほどの相関は見られなかった（SE Ranking、2025年）。読んでくれと差し出された規格を、ボットたちは、読んでいないのだ。

結論——本当にあなたを守るもの

#

もし目指すところが、公開したあなたの文章や写真や投稿を、AI システムの外に置いておくことなら、この17日間の一断面は、飾りけがなく、少しばかり気の滅入ることを告げている——**こうした制御がいちばんよく効くのは、放っておいても行儀よくしていたであろうクローラーに対してであって、あなたが最も恐れる相手には、まるで効かない。**とはいえ、これは robots.txt を外す理由にはならない——正直な多数派を止めることには、なお意味がある。あなたの言葉が大きなモデルに入るか入らないか、その分かれ目になるのだから。これは、扉に貼られた張り紙を錠前と取り違えるのを、やめる理由なのだ。

ここから、正直な結論が三つ導かれる。一つ目、手立ては使え。ただし、誰が従うかで順位をつけろ。robots.txt と、エッジで公表された範囲を弾くことは、GPTBot、ClaudeBot、Google を本当に止める——それが、名乗るクローラーの通信の大半だ。二つ目、ラベルを信じず、確かめろ。もしログを見て手を打つなら、user-agent の文字列ではなく、私たちがやったのとまったく同じように、発信元 IP を各事業者の公表一覧と逆引きに突き合わせること。三つ目——これが屋台骨だ——おおやけの場にそのまま出したものは、あなたには監査できないシステムに、もう読まれているものとして扱え。偽者の一団も、方法を持たないクローラーも、一枚のテキストファイルを律儀に守ってはくれない。長もちする唯一のプライバシーの制御は、そもそも何を公の記録に載せるのか、その最初の選択にある——取り消せない投稿について、そして機械が断片から何を推し量るかについて、私たちが地図化したのと、同じ「永続の理屈」だ。

Web Bot Auth と呼ばれる、生まれたばかりの規格は、この『衣装』の問題を根っこから正そうとしている——クローラーには偽造できない暗号署名によって、身元が、打ち込まれるのではなく、証明されるようにするのだ（Cloudflare、2025年）。まだ早い段階で、広くは普及しておらず、しかも助けになるのは、身元を明かしたいと願うクローラーに対してだけだ。14 の顔を使い分けていた連中は、信頼の規格が狙う相手では、そもそもなかった。

よくある質問

#

robots.txt で、AI クローラーを弾けますか？

#

半分は、はい。そしてそれは、ひとえにクローラーの正直さしだいです。私たちの17日間のログでは、名乗る大手のクローラー——GPTBot、ClaudeBot、GoogleOther——は97〜100%が本物だと確かめられ、robots.txt をきちんと尊重します。ですから、そこに書いておけば、止められます。ですが robots.txt は、あくまで任意のお願いであって、強制される決まりではありません。それを無視するクローラーや、偽の user-agent をまとったクローラーは、まっすぐ通り抜けていきます。このファイルは、行儀のよい相手を止め、正直な相手に知らせてくれるだけのものです。偽者にとっては、何の意味もありません。

あるクローラーが、本当に GPTBot や ClaudeBot なのか、どう確かめますか？

#

user-agent の文字列を信じず、発信元 IP を確かめてください。OpenAI、Anthropic、Google、Amazon は、それぞれ自社のクローラーが使うアドレス範囲を公表しています。ですから、本物の GPTBot のリクエストは、OpenAI が公表した一覧の中の IP から来ます。共有のクラウドに乗るクローラー（AWS 上の Amazonbot など）には、reverse-DNS の確認を足してください——その IP のホスト名が、事業者の公式なクローラー用ドメインへ、正引き・逆引きの両方向できちんと戻るかを確かめるのです（FCrDNS）。もし「GPTBot」のヒットが、OpenAI が一度も公表していないアドレスから来ているなら、それは GPTBot ではありません。

llms.txt を置けば、AI を自分のコンテンツから締め出せますか？

#

私たちの証拠に照らすかぎり、いいえ、です。私たちは llms.txt というファイルを置いていますが、17日間で、AI クローラーは実際のページを数百回も取りに来る一方、llms.txt を取りに来た回数はゼロでした——GPTBot は310ページを読み、そのファイルは一度も読みませんでした。30万ドメインを対象にした別の研究でも、llms.txt があることと、AI クローラーの振る舞いの変化との間に、測れるほどの相関は見つかりませんでした。これは提案段階の規格であり、それが語りかけるはずのクローラーたちは、いまのところ、その大半がまだ読んでいないのです。

なりすましの AI クローラーとは、何ですか？

#

実在する AI 企業の user-agent の名前を掲げていながら、その会社からは来ていない——そんなリクエストのことです。私たちのログでは、四つの商用ホスティングのネットワーク——誰でも借りられる類のもの——が、14社ぶんの別々の AI 企業を名乗る通信を送ってきました。その中には、たった一つで14社すべてになりすましたネットワークもありました。user-agent は、送り手が好きに選べる、ただの文字列です。だから、なりすましは造作もありません。その名前が、実力で得たものなのか、それとも羽織っただけのものなのかを教えてくれるのは、発信元 IP を公表された範囲に突き合わせることだけなのです。

すべてのクローラーを止められないなら、実際に私のプライバシーを守るのは何ですか？

#

確かめようのないクローラーや、不正直なクローラーを相手にしても、なお生き残る制御は、ただ一つ——そもそも何を公開するのかを、自分で決めることです。robots.txt と、公表された範囲を弾くことは、正直な多数派を止めてくれます。それはやる価値があります。ですが、検証できないクローラー——そして、どんな決まりも無視する偽者たち——を相手にするなら、包み隠さず表に出したものは、あなたには監査できないシステムに、もう読まれていると想定してください。そして、公開すること自体を、決断のときとして扱うのです。

出典

#

私たちのテスト成果物：検証の要約——2026年6月19日〜7月5日のログ期間から得た、user-agent ごとのリクエスト件数、検証された件数、そして /24 の粒度でのネットワーク所有者の集計だ。訪問者のデータは一切含まない。クローラーの IP は公共のインフラであり、/24 より細かくは開示していない。

**これが何であり、何でないかについて。**これは17日間の、できたばかりでアクセスも少ない一サイトの話だ——事例研究であって、全数調査ではない。この割合が言い表しているのは、私たちのログであって、ウェブではない。一般化できるのは、数字ではなく、方法とその判定の方だ——公表された身元と突き合わせよ、そうすればクローラーの世界は、確かめられるものと、そうでないものとに分かれる。私たちは、同じ計測を90日の節目でもう一度回し、その差分を公開するつもりだ——偽者の一団が育つのか、方法を持たないクローラーがいつか検証できるようになるのか、そして正直な連中が正直なままでいるのか。

この記事は、開かれたウェブが囲い込まれつつある——人よりも機械に多く読まれている——という私たちの論の、クローラー側の対をなす一篇であり、このシリーズの口火を切ったAI時代の脅威モデルに、実証で答える続きでもある。すでに公開されているものから、そうした機械の一つがあなたについて何を組み上げられるのかを見てみたいなら、私たちの自己監査ツールが、あなた自身の足跡に対して、同じ「信じるな、確かめろ」の規律を走らせてくれる。