この記事のポイント

OAI-SearchBot、GPTBot、ChatGPT-Userの違いと、robots.txtだけでは判断できない点を店舗担当者向けに説明します。

結論：「AIを許可する」を用途ごとに分けて確認する

検索用、学習用、ユーザー操作に応じた取得では、役割が異なります。OpenAIでは、OAI-SearchBotが検索用、GPTBotが学習に使われる可能性のある収集用です。両者のrobots.txt設定は独立しています。ChatGPT-Userはユーザー操作に応じた取得に使われ、robots.txtが適用されない場合があります。OpenAI公式のクローラー説明

具体手順：現在の設定を保存して読む

  1. 自分が管理するサイトの/robots.txtを開く。 変更前の内容を保存し、管理担当者を確認します。見つからない場合は、独断で新しいファイルを置かず、CMSや配信サービスの設定を調べます。
  2. User-agentとDisallowを探す。 User-agent: *は対象を広く指定し、Disallow: /はサイト全体へのクロール拒否を示す基本形です。公開ページを検索に出したい場合、意図した指定か確認します。Google公式の基本説明
  3. 用途ごとに方針をメモする。 たとえば「ChatGPTの検索向けには許可し、OpenAIの学習向け収集は拒否する」場合、次のように個別のグループで指定できます。
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

これは上記の方針を説明する部分例です。既存のグループや保護対象のパスを含め、ファイル全体を確認してから反映します。各ボットの設定と用途

  1. Google向けの設定は別に確認する。 Google-Extendedは独立したHTTPのUser-Agentではなく、利用範囲を制御するトークンです。Googleは、この指定がGoogle検索への掲載や順位に影響しないと説明しています。Googleのクローラー資料

確認：ファイルだけで「到達できる」と断定しない

robots.txtの許可と、実際にページが取得できることは別です。制作担当者には、公開URLが正常に返るか、ログインやWAF等で遮られないか、本文が取得できるかも確認してもらいます。User-Agentを変えた試験だけで、本物のボットが通れると断定しないようにしましょう。

注意：robots.txtは機密情報の保護に使わない

robots.txtはアクセス制御の仕組みではありません。非公開の顧客情報や管理画面は、認証などで保護する必要があります。また、クロール拒否だけでURLが検索結果から消えるとは限りません。Google公式の制約説明

FAQ

GPTBotを拒否するとChatGPTの検索にも出なくなりますか？

OpenAIは検索用と学習用を独立して設定できると説明しています。検索向けの方針はOAI-SearchBotで確認してください。

すべてのAIに同じ指定で対応できますか？

事業者ごとにボットと用途を確認します。本記事のOpenAIの例を、他社にもそのまま当てはめないでください。

この記事の一次情報

最終確認

  1. OpenAI：Overview of OpenAI Crawlersdevelopers.openai.com
  2. Google 検索セントラル：robots.txtの概要とガイドdevelopers.google.com
  3. Google Crawling Infrastructure：Google common crawlersdevelopers.google.com

出典の内容は更新される場合があります。

Markdown版を読む 訂正について