robots.txtでルートディレクトリのクロールを無効にする
ひとつのwwwフォルダーにサブディレクトリ別に複数のドメインをホストしている場合、ルートディレクトリだけボットにクロールされないようにし、サブディレクトリのみをクロールさせたい場合が出てくるだろう。 そういう時は、ルートディレクトリのwwwに以下のような内容のrobots.txtを置けばいい。 robots.txtの記入例 「User-agent: * Disallow: / Allow: /di・・・続きを読む
「April2015」の投稿を表示中