shirokuronoir

CloudflareのAIクローラー新設定、確認する3点

CloudflareのAIクローラー新設定、確認する3点

CloudflareのAIクローラー新設定、確認する3点

AIクローラーをすべて遮断すると、学習利用は防げても検索やAI経由の流入まで失う可能性があります。Cloudflareが2026年7月に導入した新設定は、用途ごとに許可・遮断を分けるための仕組みです。

先に結論

個人ブログで確認するのは次の3点です。

1. Search、Agent、Trainingを一括ではなく別々に判断する

2. Trainingを止める前に、複数用途のクローラーへの影響を確認する

3. 設定後は検索流入とボットアクセスを継続して測る

「AIだから全部ブロック」ではなく、何に使われるアクセスかで決めるのが今回の変更点です。

何が変わったのか

Cloudflareは、AI関連の自動アクセスを次の3種類に分類して管理できるようにしました。無料プランを含む全顧客が対象です。

  • Search: コンテンツを収集・索引化し、後の検索回答に使う
  • Agent: 利用者の依頼を受け、リアルタイムにページへアクセスする
  • Training: モデルの学習や追加学習のためにコンテンツを収集する

Cloudflare公式発表では、2026年9月15日から新規ドメインの広告掲載ページについて、TrainingとAgentは既定で遮断、Searchは許可になります。SearchとTrainingを兼ねるクローラーは、適用されるルールのうち厳しい側で扱われます。

既存の一括設定「Block AI bots」は同日に廃止予定です。既存利用者は事前に設定を選べるため、日付だけを見て自動的に切り替わると断定せず、自分のCloudflare画面で確認する必要があります。

1. 3分類を別々に決める

検索流入を育てたい個人ブログでは、最初からすべてを遮断するより、目的を分けて考えます。

  • Searchは検索や回答サービスからの発見につながる可能性がある
  • Agentは人の依頼による閲覧だが、広告表示を伴わないことがある
  • Trainingは将来のモデル改善に使われ、直接の流入を返さない場合がある

初期方針の例は「Searchを許可し、Trainingを遮断候補にし、Agentはアクセスログを見て決める」です。ただし、これは万能な推奨設定ではありません。収益源、引用されたい範囲、会員限定コンテンツの有無で判断は変わります。

2. 複数用途のクローラーに注意する

Cloudflare公式ドキュメントでは、SearchとTrainingを兼ねるクローラーもTraining側の遮断対象になると説明されています。Googlebot、Applebot、BingBotなどが例として挙げられています。

そのためTrainingを遮断した後は、次を確認します。

  • Google Search Consoleでクロールエラーが増えていないか
  • 検索流入やインデックス数が急減していないか
  • CloudflareのSecurity Settingsで想定した分類になっているか
  • 重要ページを外部環境からHTTP 200で取得できるか

設定変更と検索順位の変化を同日に断定せず、変更日時を記録して数週間単位で比較します。

3. 設定後を計測する

このブログの公開側を確認したところ、HTTP応答はCloudflare経由で、`CF-RAY`ヘッダーも返っていました。一方、公開中の`robots.txt`には`Content-Signal`、`ai-train`、`search`の指定はありませんでした。

ただし、`robots.txt`だけではCloudflareの遮断設定を判定できません。CloudflareのダッシュボードでAI bot policiesとBot Analyticsを確認し、WordPress側では検索流入、noteからのUTM流入、関連記事クリックを測る必要があります。

実際の確認手順

1. Cloudflareの対象ドメインを開く

2. Security SettingsのAI bot policiesを確認する

3. Search、Agent、Trainingの現在値を記録する

4. 変更する場合は1項目ずつ行い、日時を残す

5. Search Console、アクセス解析、Cloudflareのログを比較する

設定値を一度に変えると、流入が変化した原因を切り分けられません。まず現状を記録し、影響を測れる状態にしてから変更します。

関連記事

著者について

Shironoirは、個人環境でAI、WordPress、noteを組み合わせたコンテンツ運用を検証しています。設定を断定するのではなく、公開結果とアクセス計測を残して改善します。

出典

1. Your site, your rules: new AI traffic options for all customers / Cloudflare（2026年7月1日）

2. Block AI Bots / Cloudflare Docs（2026年7月1日更新）

3. Cloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlers / The Decoder（2026年7月6日）