ロボットのＩＰアドレス一覧を見つけた。

最近、クレジットカード検索と比較　に現れるクローラーはどうやらｍｓｎ系らしい、　ror.xml　をアップロードした効果が出ているようだ。　検索エンジンＣｈａｃｈａｉはcgiが主だがクレジットカード検索と比較はhtmlが主体だ。検索エンジンの方にはあまりクロールがなく　カード比較へのクロールが主だ。どうやらｍｓｎはｈｔｍｌの方を好むらしい。

ここも凄く参考になります。