robots.txtでルートディレクトリのクロールを無効にする

  • by
  • サイト管理
  • コメントなし

ひとつのwwwフォルダーにサブディレクトリ別に複数のドメインをホストしている場合、ルートディレクトリだけボットにクロールされないようにし、サブディレクトリのみをクロールさせたい場合が出てくるだろう。
そういう時は、ルートディレクトリのwwwに以下のような内容のrobots.txtを置けばいい。

robots.txtの記入例
「User-agent: *
Disallow: /
Allow: /directory1/
Allow: /directory2/」
この場合、ルートディレクトリのクロールは禁じているがサブディレクトリである「directory1」と「directory2」のクロールは許可している。
すべてのボットが認識する保証はないが、少なくともGoogleBotはこれでおkだそうだ。

  • by
  • サイト管理
  • コメントなし

コメントを残す

メールアドレスが公開されることはありません。