robots.txtの書き方とWordPressの自動生成

(2014/2 更新) robots.txtの書き方は至ってシンプルです。単にGoogleの事を気にしているなら冒頭の数行だけ実行して下さい。ちなみにコンテンツの質とかSEO効果とかを気にしている方、あまり意味が無いですよ。正しく書いてあればOKです。誤ったファイルを置くとデメリットになります。

●　テキストファイルを用意しファイル名をrobots.txtというファイル名にする。

●　以下を記載する。

User-agent: *
Disallow:

User-agentは *（アスタリスク）で問題ありません。（以上です。）

robots.txtという名前でテキストファイルをWebサーバのドキュメントルートに置きます。
ドキュメントルートとはドメイン名+robots.txtで呼び出せる場所です。

【例】http://seo-jump.com/robots.txt

ドキュメントルート以外の設置では意味が無い。Googleを含む、検索クローラーはドメイン直下のrobots.txtを読みに行くので、それ以外の場所や、ファイル名を誤ったままで設置しても意味がありません。

User-agent: *
Disallow:
Sitemap: http://your-site.com/sitemap.xml

User-agentは *（アスタリスク）で問題ありません。

Disallowは制限させたいディレクトリを書きます。制限が無い場合は空白に。ロボットがクロールしても意味の無いプログラムファイル群など（例:/cgi-bin/）を指定したい場合などに使いますが、本当にそれが必要かをまずは考えて下さい。

例：

User-agent: *
Disallow:/cgi-bin/
Sitemap: http://your-site.com/sitemap.xml

Sitemap:記述は無くてもあっても良い。あると、Sitemapを優先して読みに行くbotsがある「かも」。Sitemap管理はGoogle/Bing　それぞれのウェブマスターツールを使ったほうが確実。

WordPressの場合、robots.txtは動的生成のため、デフォルトではファイル自体がありません。
まずは、上記の例のように、ドメイン+robots.txtで呼び出せるか確認しましょう。

確認できれば最低限の担保はされています。後は以下に注意して下さい。
・「検索エンジンがサイトをインデックスできないようにする」のチェックを外す事

尚、FTPでドキュメントルートにrobots.txtを設置すれば動的生成よりも設置したファイルが優先されます。
（※検索エンジンのクロール対策なので、セキュリティ上の問題でクロールさせたく無いならrobots.txt以外の防御策を採用すべきです。）

Googleはrobots.txtをサイトの生存確認に使います。また、robots.txtの記載の通りに動きますのでDisallow:/（全てをインデクスさせない）と書かれているとインデクスされない（＝検索されなくなる）のでご注意を。

誤った場合、直ぐに修正すれば問題は無いです。長期に放置すると、SEO面からはかなり不利になります。

●　まずメニューから「ブロックされた URL」を開きます。
スクリーンショット 2014-02-25 2.06.44

●　http://seo-jump.com/robots.txt のコンテンツ – 編集して変更をテスト
スクリーンショット 2014-02-25 2.06.54
試すつもりの文章に変更して確認してみましょう。

●テストを押してテスト結果を確認しましょう。
スクリーンショット 2014-02-25 2.15.36

何度も書きますが、robots.txtの有無で検索順位が上下することもありません。誤っていればインデクスされなくなるので検索上の不具合があります。しかし、仮に無かったとしても検索結果に出ているなら問題はありません。

robots.txtはあくまでも指針であって命令に従わないロボットは沢山あります。本当にクロールさせたくないならディレクトリのアクセス権限をきちんと設定した方が良いでしょう。robots.txtはGoogleやBingのような大型のクローラーに効率よくデータを拾わせるためのものです。

robots.txtの自動ジェネレーターは以下など。
http://tools.seobook.com/robots-txt/generator/

robots.txtに関する詳細解説は以下も参考にして下さい。
Google クローラ / robots.txt