注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

K8拉登哥哥's Blog

K8搞基大队[K8team] 信息安全 网络安全 0day漏洞 渗透测试 黑客

 
 
 

日志

 
 

搜索引擎爬虫蜘蛛的UserAgent收集  

2014-08-31 01:07:27|  分类: 指纹特征 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
    百度爬虫  
        * Baiduspider+(+http://www.baidu.com/search/spider.htm”)  
      
    google爬虫  
        * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)  
        * Googlebot/2.1 (+http://www.googlebot.com/bot.html)  
        * Googlebot/2.1 (+http://www.google.com/bot.html)  
      
    雅虎爬虫(分别是雅虎中国和美国总部的爬虫)  
        *Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)  
        *Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)  
      
    新浪爱问爬虫  
        *iaskspider/2.0(+http://iask.com/help/help_index.html”)  
        *Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)  
      
    搜狗爬虫  
        *Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)  
        *Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)  
      
    网易爬虫  
        *Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )  
      
    MSN爬虫  
        *msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
  评论这张
 
阅读(885)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016