お行儀の悪いクローラをKICKしとく呪文 ( htaccess )

.htaccess に貼り付ける

SetEnvIf User-Agent "DotBot" kick
SetEnvIf User-Agent "Baiduspider" kick
SetEnvIf User-Agent "Yeti" kick

order Allow,Deny
Allow from all
Deny from env=kick

メモエントリー。難しいことを考えずに、行儀の悪いBOTを蹴り飛ばすためのスペル。htaccessに書きます。

a-blog cmsみたいに、新しいURLに対して律儀に、ページ生成とキャッシュ処理まで繰り返すタイプは、クローラが縦横無尽にサイト内を駆け回られた時につらいものが...。


Author

ahomuAyumu Sato

KINTOテクノロジーズ株式会社

Web 技術、組織開発、趣味など雑多なブログ。技術の話題は zenn、ご飯の話題はしずかなインターネットにも分散して投稿しています。

Bio: aho.mu
X: @ahomu
Zenn: ahomu
GitHub: ahomu
Sizu: ahomu

Related

Latest

Archives

Tags

Search