robots.txtでルートディレクトリのクロールを無効にする
ひとつのwwwフォルダーにサブディレクトリ別に複数のドメインをホストしている場合、ルートディレクトリだけボットにクロールされないようにし、サブディレクトリのみをクロールさせたい場合が出てくるだろう。
そういう時は、ルートディレクトリのwwwに以下のような内容のrobots.txtを置けばいい。
robots.txtの記入例
「User-agent: *
Disallow: /
Allow: /directory1/
Allow: /directory2/」
この場合、ルートディレクトリのクロールは禁じているがサブディレクトリである「directory1」と「directory2」のクロールは許可している。
すべてのボットが認識する保証はないが、少なくともGoogleBotはこれでおｋだそうだ。
