2番 robots.txt

robots.txtはHTMLメタタグより効果があるものの、やはり、.htaccessにくらべると弱い検索よけになります。それでもHTMLメタタグと合わせれば、検索よけの効果が高まるので、導入しておきましょう。ステップ1ではrobots.txtの作り方について説明していますが、手間な方はこちらで私が作ったrobots.txtをダウンロードして、ステップ2へと進んでください。


1) まず、メモ帳、サクラエディタやテキストエディットなどのテキストエディタをなんでも良いので開きます。開いたら 
User-agent: *
Disallow: /

User-agent: Browsershots
Disallow: /

User-agent: MJ12bot
Disallow: /
を貼り付けて、ファイル名をrobots.txtで保存してください。このとき注意して欲しいのは、一番最後の行は空行であることと、ファイル名がrobots.txtであることです。Robots.txtでもrobot.txt（sが抜けてる）でもダメです。

2) あとはこのrobots.txtをサーバに転送するだけです。転送するさいは、必ず、一番最初の層に入れてください。一番最初の層とは閲覧者が最初に訪れるindex.htmlがある場所のことです。サーバに転送ができたら、robots.txtによる検索よけチュートリアルは終わります。最後に、詳細。

詳細) robots.txtの内容を説明いたしますと 
User-agent: *
Disallow: /
は全検索サイトはサイトにアクセスしないでください。 
User-agent: Browsershots
Disallow: /
はサイトのスクリーンショットは撮らないでください。 
User-agent: MJ12bot
Disallow: /
は海外のMJ12botというロボット、あなたはこちらのサイトに激しい負担をかけるため、とくに立ち入り禁止です。という意味です。MJ12botに関しては許可するかどうかは自由ですが、国内では迷惑ロボットとされているため、この度robots.txtに加えました。必要でない場合は削除してください。
＜ PREV
inserted by FC2 system