# robots.txtでAIクローラーの検索用・学習用の設定を確認する方法 OAI-SearchBot、GPTBot、ChatGPT-Userの違いと、robots.txtだけでは判断できない点を店舗担当者向けに説明します。 公開: 2026-10-17 / 更新: 2026-10-17 / 最終確認: 2026-10-17 著者: Jitty AI編集部 原文: https://ai.jitty.jp/guides/ai-crawlers-robots/ ## 結論：「AIを許可する」を用途ごとに分けて確認する 検索用、学習用、ユーザー操作に応じた取得では、役割が異なります。OpenAIでは、OAI-SearchBotが検索用、GPTBotが学習に使われる可能性のある収集用です。両者のrobots.txt設定は独立しています。ChatGPT-Userはユーザー操作に応じた取得に使われ、robots.txtが適用されない場合があります。[OpenAI公式のクローラー説明](https://developers.openai.com/api/docs/bots) ## 具体手順：現在の設定を保存して読む 1. **自分が管理するサイトの`/robots.txt`を開く。** 変更前の内容を保存し、管理担当者を確認します。見つからない場合は、独断で新しいファイルを置かず、CMSや配信サービスの設定を調べます。 2. **User-agentとDisallowを探す。** `User-agent: *`は対象を広く指定し、`Disallow: /`はサイト全体へのクロール拒否を示す基本形です。公開ページを検索に出したい場合、意図した指定か確認します。[Google公式の基本説明](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja) 3. **用途ごとに方針をメモする。** たとえば「ChatGPTの検索向けには許可し、OpenAIの学習向け収集は拒否する」場合、次のように個別のグループで指定できます。 ```text User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Disallow: / ``` これは上記の方針を説明する部分例です。既存のグループや保護対象のパスを含め、ファイル全体を確認してから反映します。[各ボットの設定と用途](https://developers.openai.com/api/docs/bots) 4. **Google向けの設定は別に確認する。** Google-Extendedは独立したHTTPのUser-Agentではなく、利用範囲を制御するトークンです。Googleは、この指定がGoogle検索への掲載や順位に影響しないと説明しています。[Googleのクローラー資料](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) ## 確認：ファイルだけで「到達できる」と断定しない robots.txtの許可と、実際にページが取得できることは別です。制作担当者には、公開URLが正常に返るか、ログインやWAF等で遮られないか、本文が取得できるかも確認してもらいます。User-Agentを変えた試験だけで、本物のボットが通れると断定しないようにしましょう。 ## 注意：robots.txtは機密情報の保護に使わない robots.txtはアクセス制御の仕組みではありません。非公開の顧客情報や管理画面は、認証などで保護する必要があります。また、クロール拒否だけでURLが検索結果から消えるとは限りません。[Google公式の制約説明](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja) ## FAQ ### GPTBotを拒否するとChatGPTの検索にも出なくなりますか？ OpenAIは検索用と学習用を独立して設定できると説明しています。検索向けの方針はOAI-SearchBotで確認してください。 ### すべてのAIに同じ指定で対応できますか？ 事業者ごとにボットと用途を確認します。本記事のOpenAIの例を、他社にもそのまま当てはめないでください。 ## 一次情報・出典 - [OpenAI：Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) - [Google 検索セントラル：robots.txtの概要とガイド](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja) - [Google Crawling Infrastructure：Google common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)