# robots.txtとは？クローラーの取得範囲を伝えるファイル

robots.txtの役割、店舗サイトでの確認箇所、noindexやアクセス制限との違いを説明します。

公開: 2026-10-17 / 更新: 2026-10-17 / 最終確認: 2026-10-17
著者: Jitty AI編集部
原文: https://ai.jitty.jp/glossary/robots-txt/

## 意味と店舗との関係

robots.txtは、クローラーに対してサイト内のどのURLを取得してよいかを伝えるテキストファイルです。検索結果からページを削除するための仕組みや、秘密情報を守る認証機能とは異なります。[Googleの概要](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja)

店舗サイトで誤った拒否設定を残すと、メニューやサービス案内を検索エンジンが確認できない原因になります。制作中の設定が公開後も残っていないか点検しましょう。

## まず確認すること

自分のドメインの末尾に `/robots.txt` を付けて開きます。`User-agent` が対象のクローラー、`Disallow` が拒否する範囲です。変更前の内容を保存し、CMSや制作会社の管理画面の設定も確認してください。

## 注意点

指示に従わないクローラーも存在します。また、取得を拒否していても、別の場所から発見されたURLだけが検索結果に出ることがあります。非公開にしたい情報には、パスワード保護など別の手段を使います。クロールの可否と、掲載・引用の有無を混同しないことが大切です。

## 一次情報・出典

- [Google 検索：robots.txt の概要](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja)