Cloudflareによる「コンテンツ独立記念日」、ついにAIトラフィックを管理へ。

ミナ・アズール / Mina Azure がお送りする AICU media「#生成AIの社会と倫理 」のニュースコーナーです。2026年7月1日、AI時代の著作権や倫理問題がアップデートされるニュースが多い日となりました。

本日は、Cloudflareがウェブサイト運営者に対して、AIトラフィックを管理するための新たな選択肢を提供開始したというニュースです。これは、コンテンツの所有者が自身のコンテンツの利用方法をより細かくコントロールできるようにするための重要な一歩だと思います。

今から一年前、2025年7月1日にCloudflareは「Content Independence Day」、つまり「コンテンツ独立記念日」を宣言しました。

https://blog.cloudflare.com/ja-jp/content-independence-day-no-ai-crawl-without-compensation/

これは、AIクローラーがウェブサイトのコンテンツを収集し、モデルの学習に利用しながらも、その対価がウェブサイト運営者に戻ってこないという状況が、ウェブサイトの存続を脅かす「実存的な脅威」であると警鐘を鳴らしたものです。その際、CloudflareはワンクリックでAIボットをブロックするオプションや、コンテンツ利用に応じた報酬を支払う「Pay-Per-Crawl」プログラムを発表しました。

しかし、この一年で状況は急速に変化し、AIの利用は多岐にわたるようになりました。ウェブサイト運営者は、自分のコンテンツを無断で学習に使われることには補償を求めたい一方で、検索エンジンに表示されず、発見されなくなる"ゼロ検索問題"つまり「ディスカバラビリティの喪失」も避けたいというジレンマに直面しています。Google検索がAIによって直接回答を提供する「完全な回答エンジン」へと進化していることからもわかるように、現在の「AIは、まるでインターネットそのもの」であるかのように、非常に広範な意味を持つようになっています。

AIはまるでインターネットそのもの。
Cloudflareの「実用的な3つの分類」とは？

そこでCloudflareは、AIの定義そのものに固執するのではなく、ボットの「行動」に着目したより実用的な分類法を提案しました。具体的には、AIによるトラフィックを以下の三つの主要なユースケースに分けて管理できるようにしたのです。

(1)検索

一つ目は「Search（検索）」です。これは、ウェブサイトのコンテンツを収集・インデックス化し、後で検索クエリに回答するために利用する挙動を指します。ウェブサイト運営者は、この活動によって参照トラフィックや公正な報酬を得るべきだとされています。

(2)エージェント

二つ目は「Agent（エージェント）」です。これは、人の代理として、通常はリアルタイムで特定のタスクを完了させるためにウェブアプリケーションを訪問する自動化された挙動です。例えば、ChatGPT-Userのようなチャット型フェッチボットや、Gemini、ClaudeがChromeを駆動するようなブラウザ利用エージェントなどがこれに該当します。多くの場合、その先には人間がいて、すぐに結果を待っている状況が想定されます。

(3)トレーニング

そして三つ目は「Training（トレーニング）」です。これは、モデルの訓練や微調整のためにウェブサイトのコンテンツを収集するクローラーのことで、ウェブサイトのデータがAIの基盤アーキテクチャに永続的に吸収され、その能力向上に使われることを意味します。

Cloudflareは、ボット運営者に対して、これらの異なる目的を持つクローラーを個別に運用することで、ウェブサイト運営者への透明性を高めるよう強く推奨しています。これらの新しい管理オプションは、Cloudflareネットワーク上の全てのウェブサイト運営者、なんと無料プランの顧客も対象となって提供されます。

そして具体的な robots.txt での記述、 Content Signals 側は search / ai-input / ai-train です。ai-input はRAG、グラウンディング、生成AI検索回答などにコンテンツを入力する利用です。

運命の日は2026年9月15日

2026年9月15日からは、これらの新しい分類に基づいたデフォルト設定が適用されます。具体的には、Cloudflareに新規でオンボーディングするドメインにおいて、広告が表示されるページでは「Training」と「Agent」のカテゴリがデフォルトでブロックされるようになります。一方、「Search」は引き続きデフォルトで許可されます。これは、広告が表示されるページは人間の注目を目的としており、それを妨げる可能性のあるボットを排除するという考え方に基づいています。

実際の設定を確認してみた！

2026年7月2日現在、Cloudflareのダッシュボード上ではこのような表示なっています。

認証済みボットのリストはこのドキュメントで定義されます。
https://developers.cloudflare.com/bots/concepts/bot/#ai-bots

ボットのコンテンツ利用レベル：immediate, reference, full

また、ボットがコンテンツを「どのように利用するか」という点についても、新しい設定が導入されます。コンテンツ利用レベルとして、immediate（インタラクトするが何も保存・再利用しない）、reference（デフォルトでインデックス化、抜粋、リンクバック）、full（要約、複製）の三段階が設けられ、ウェブサイト運営者はこれを自身のrobots.txtにuseシグナルとして追加することで、ボットに対する「希望」を示すことができます。

「Verified（認証済み）」ボットの定義も更新され、以前は全ての認証済みボットがデフォルトで許可されていましたが、今後はそのボットが属するカテゴリ（例：Search）が許可されている場合にのみアクセスが認められるようになります。これにより、認証プロセスもより透明化され、ボット運営者が自身の情報を正確に提示し、信頼を得るための新しい管理ツールも間もなく提供される予定です。

そして、近年増えている、ボットが必ずしも開発元の企業によって直接運用されているわけではないという状況に対応するため、「推移的信頼（transitive trust）」という概念も導入されます。これは、Forwardedヘッダーにボットの運営者情報やコンテンツ利用レベルを追加することで、ウェブサイト運営者が特定の運営者を信頼する場合、その信頼が中間業者を介しても維持されることを目指すものです。

コンテンツシグナルポリシーとして、robots.txtがどのようにボットと対話するかを指示します。
https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/

Cloudflareの managed robots.txt では、Content Signals という機械可読な意思表示も使われます。これは、クローラーによるコンテンツ利用を search、ai-input、ai-train の三つに分けて示すものです。

search は検索インデックスの構築や検索結果の表示を意味します。ただし、AIによる検索サマリー生成は含まれません。ai-input は、RAGやグラウンディング、生成AI検索回答のためにコンテンツをAIモデルへ入力する利用を指します。ai-train は、AIモデルの訓練や微調整のための利用です。

さらにCloudflareは、Content Signals の任意拡張として content-use を試験しています。これは、クローラーがアクセス後にコンテンツをどの程度保持・再利用してよいかを示すもので、use=immediate、use=reference、use=full の三段階があります。Cloudflareの managed robots.txt を有効にした場合、管理されたrobots.txtには search=yes, ai-train=no, use=reference が追加されます。

ただし、robots.txt は技術的な遮断ではなく、クローラーに対する意思表示です。Cloudflareも、実際にクロールを強制的に止めたい場合は AI Crawl Control を使う必要があると説明しています。

GooglebotやApplebot、BingBotといった複数の目的を持つクローラーについても、ウェブサイト運営者への透明性を確保するため、その全ての挙動を考慮した上で、最も制限的なルールに従ってアクセスが許可されるかどうかが決定されるそうです。もちろん、ウェブサイト運営者はこれらの新しいデフォルト設定からいつでもオプトアウトすることができ、自身のセキュリティ設定で簡単に変更できます。

さらに、エンタープライズ顧客向けには、「BotBase」という新しい可視化機能が提供されます。これはCloudflareが追跡する全ての既知のボットを検索・管理できるデータベースで、より詳細な情報と制御を提供することで、特定のボットからのトラフィックを細かく調整できるようになります。

AI時代のサイト管理者に求められる責任と戦略

これらの変更は、ウェブサイト運営者が自身のコンテンツの利用方法について、これまで以上に詳細なコントロールを持てるようにするためのものだと私は思います。Cloudflareは、透明性を奨励し、信頼に基づいてウェブエコシステムを構築するという根本的な方向性を堅持していくとしています。

今回公開された新しいAIトラフィック管理オプションで、既にCloudflareを利用している全ての管理者の方々が、ご自身のゾーン設定で設定できるようになりました。おそらく今後も常に更新されていくことでしょう。

ウェブを取り巻く環境は常に変化し続けていますが、今回の取り組みが、コンテンツクリエイターの権利保護と、ウェブ全体の健全な発展に繋がっていくことを期待したいですね。

出典: Your site, your rules: new AI traffic options for all customers
2026-07-01 (Cloudflare公式)
https://blog.cloudflare.com/content-independence-day-ai-options/

#生成AIの社会と倫理 #著作権 #AI規制 #Cloudflare #ウェブコンテンツ管理

Originally published at note.com/aicu on Jul 2, 2026.