お行儀の悪いクローラをKICKしとく呪文 ( htaccess )
Posted: Updated:
.htaccess に貼り付ける
SetEnvIf User-Agent "DotBot" kick
SetEnvIf User-Agent "Baiduspider" kick
SetEnvIf User-Agent "Yeti" kick
order Allow,Deny
Allow from all
Deny from env=kick
メモエントリー。難しいことを考えずに、行儀の悪いBOTを蹴り飛ばすためのスペル。htaccessに書きます。
a-blog cmsみたいに、新しいURLに対して律儀に、ページ生成とキャッシュ処理まで繰り返すタイプは、クローラが縦横無尽にサイト内を駆け回られた時につらいものが...。
