AIクローラーのアクセスログを読む方法｜クロール・引用・訪問を分けて確認

アクセスログで分かることと、分からないこと

アクセスログは、サイトに来たリクエストと、その応答を確認する材料です。AIの取得処理がページへ到達したかを調べるのに役立ちます。一方、アクセス回数から、その後どの質問への回答に使われたか、利用者に何回読まれたかまでは分かりません。

LLMOの運用では、取得状況を調べるログ、回答と出典を調べるLLMOツール、来訪後の行動を調べるアクセス解析を分けます。数字を一つに合算せず、どの段階で課題が起きているかを確認しましょう。

編集部作成の整理図。取得・引用・訪問の証拠は異なるため、それぞれのデータで確認します。

OpenAIの3つのアクセスを目的で分ける

OpenAIの公式資料は、主に次の違いを説明しています。

• OAI-SearchBot：ChatGPTの検索機能でサイトを検索結果に表示するためのアクセス。

• GPTBot：生成AIの基盤モデルの学習に利用される可能性があるコンテンツを取得するクローラー。

• ChatGPT-User：ユーザーの操作に応じたページへのアクセス。自動巡回用ではなく、検索への掲載可否を決めるものでもありません。

検索用と学習用の設定は独立しています。また、ユーザー操作によるアクセスではrobots.txtの規則が適用されない場合があります。これらをすべて「ChatGPTから来た」と一括集計すると、目的を読み違えます。出典：OpenAI公式・クローラーの概要。

ログを見る前に、対象URLと取得元をそろえる

編集部の点検例では、最初に調べる公開URL、確認期間、タイムゾーン、確認したいボットの種類を決めます。CDNやサーバーなど複数の場所にログがある場合は、どの範囲のアクセスを見られる記録かも担当者と確認してください。

同じ時間帯でも、集計場所が違えば件数が一致するとは限りません。ログがないという結果を判断する前に、保存期間、対象ホスト、URLの絞り込み、記録するイベントの範囲を確認します。

• 日時：時刻とタイムゾーン。記事公開・更新の前後が分かるようにする。

• 対象：ホスト名、URLパス、最終的な移動先。記事本文のURLかを区別する。

• アクセスの識別：User-Agentと、利用環境で確認できる検証情報。

• 応答：ステータスコード、応答した内容の種類、関連するエラーや制御ルール。

User-Agentの名前だけで、本物のボットと断定しない

User-Agentはリクエストに含まれる識別文字列ですが、文字列だけを名乗ることもできます。Cloudflareの公式資料も、User-Agentによる絞り込みは偽装され得ると説明し、検証済みの検出情報と区別しています。出典：Cloudflare公式・分析フィルター。

報告には「名前の一致で抽出したアクセス」なのか「利用環境で検証されたボット」なのかを残します。提供元の最新情報とホスティング環境の確認方法を使い、名前が一致しただけでアクセス許可の範囲を広げないようにします。必要な検証情報が保存されていなければ、未確認と記録してください。

応答コードを見て、取得失敗の場所を絞る

CloudflareのAI Crawl Controlでは、リクエストを期間やクローラー、ホスト、パスで絞り込み、HTTP応答の分布を確認できます。同社は2xxを成功、3xxをリダイレクト、4xxをクライアント側のエラー、5xxをサーバー側のエラーとして整理しています。出典：Cloudflare公式・AIトラフィック分析。

編集部の確認順では、移動先があるなら最終URLを確認し、取得できない場合は対象リクエストと同時刻の制御・エラー記録をサイト担当者へ渡します。403なら拒否した仕組み、404なら対象URL、5xxならサーバー側の状況を調べる出発点になります。コードだけで原因を確定せず、実際の応答と設定を照合します。

成功を示すコードでも、期待する記事本文が返っているとは限りません。ログイン画面や別のページになっていないか、担当者が対象URLの応答内容を確認します。機能を一律に無効化する前に、対象URLと該当ルールを特定することが先です。

ログから引用計測へつなぐ確認票

アクセスが成功していれば、次は回答の観測へ進みます。ただし、取得されたページが必ず引用されるわけではなく、引用が見つからない理由をログだけで確定することもできません。

1. 取得の記録：対象URL、日時、識別方法、応答、確認できた範囲を残す。

2. 回答の記録：質問、AI、実行日、回答本文、引用URLを保存する。

3. 訪問の記録：識別できた参照元と対象ページの訪問を、アクセス解析で別に集計する。

4. 次の対応：取得の問題、本文の不足、観測条件の違いを分けて担当者へ渡す。

たとえば「対象記事へアクセスはあるが、観測した質問では引用未確認」という形で書けば、証拠の範囲が伝わります。「アクセスが増えたのでAI検索の評価が上がった」という断定は避けましょう。

引用の調査にはAI検索可視性ツール、回答の改善には引用元分析の手順が参考になります。来訪の確認はGA4でAI検索からの流入を調べる方法をご覧ください。

よくある質問

AIクローラーのアクセスがゼロなら、引用もゼロですか？

そのログの期間と収集範囲だけでは判断できません。記録の欠落や対象条件を確認し、実際のAI回答に出典があるかを別に調べます。

ボットを許可すれば、すぐに引用されますか？

許可はアクセスに関する設定であり、引用の確約ではありません。設定変更の時刻を残し、取得状況と回答内容をそれぞれ再確認してください。

公式情報確認日：2026年9月23日。点検手順と確認票は編集部の提案です。実際のログ取得方法と設定変更は、利用中の環境に合わせて判断してください。