Роботы различных поисковых систем и их свойства

Msn.com  - http://search.msn.com/msnbot.htm

Yahoo.com - http://help.yahoo.com/help/us/ysearch/slurp

Google.com - http://www.google.com/bot.html

Alexa.com - http://www.alexa.com/site/help/webmasters