robots.txtとは？クローラーの取得範囲を伝えるファイル

意味と店舗との関係

robots.txtは、クローラーに対してサイト内のどのURLを取得してよいかを伝えるテキストファイルです。検索結果からページを削除するための仕組みや、秘密情報を守る認証機能とは異なります。Googleの概要

店舗サイトで誤った拒否設定を残すと、メニューやサービス案内を検索エンジンが確認できない原因になります。制作中の設定が公開後も残っていないか点検しましょう。

まず確認すること

自分のドメインの末尾に /robots.txt を付けて開きます。User-agent が対象のクローラー、Disallow が拒否する範囲です。変更前の内容を保存し、CMSや制作会社の管理画面の設定も確認してください。

注意点

指示に従わないクローラーも存在します。また、取得を拒否していても、別の場所から発見されたURLだけが検索結果に出ることがあります。非公開にしたい情報には、パスワード保護など別の手段を使います。クロールの可否と、掲載・引用の有無を混同しないことが大切です。