この記事のポイント
Googlebotの役割と、店舗サイトでの取得確認、学習拒否用トークンとの違いを整理します。
意味と店舗との関係
Googlebotは、Google検索などのためにウェブページを取得するクローラーです。GoogleのAIによる概要やAIモードに向けた検索用の取得も、Googlebotの制御が関係します。クローラー一覧
店舗サイトでGooglebotを拒否すると、通常の検索も含めて情報を伝える機会に影響します。「AIの学習だけを止めたい」という目的で、名前をよく確かめずに拒否しないようにしましょう。
まず確認すること
Search ConsoleのURL検査で、店舗の主要ページの状態と取得された内容を確認します。robots.txtだけでなく、ホスティング側の制限も点検してください。GoogleのAI機能向け資料
注意点
アクセスログのUser-AgentにGooglebotと書かれていても、本物とは限りません。UAの変更による簡易テストを、そのままGoogleからの取得成功の証明として扱わないでください。取得できること、検索登録、実際の表示はそれぞれ別の段階です。
この記事の一次情報
最終確認
出典の内容は更新される場合があります。