サイトへの素敵な訪問者一覧(クローラーこの野郎)

エラーメールが日々送られてくる中で、そのほとんどがクローラ(所謂Bot)だったり。

クローラについては↓

http://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9

そんなクローラの一覧が纏まっているサイトが有りました。

晴練雨読

http://www.seiren-udoku.com/analyzeCrawler

Yahoo系、Google系、その他系でBotの種類が分かれているので非常に分かりやすい!

しかし、エラーメールは結構胃に来る。

ほんとは、クローラが訪問してきてもエラーにならない仕組みにしなきゃダメだな