用户名:dgqjj
Email:webmaster@dgqjj.com
注册时间:2012/4/8
最后登录:2022/2/11
老油条
发贴数:2432
积分:7404
更新:2013/10/17
|
1 #
Robots协议采用“白名单制度”和“黑名单制度"
这两天大家看到360公司起诉百度网讯科技已经立案，不得不引起我们站长的反思。Robots协议吧的吧主是这样理解的：
经过我的查看，百度Robots采用的是白名单制度，百度最后一条是禁止所有搜索引擎的爬虫抓取，但因为前面的规则比后面的优先级高，所以，百度百科采用的是“白名单制度”robots.txt。最近百度被告歧视360抓取，其实不一定。因为360这近2年才做起来的企业，百度公司这么大，这么小小的文件上的疏忽是可以理解的吧！360有没有预先跟百度产品部门提出过建议列入白名单？360是不是小题大做了？
我们普通站长中，绝大部分人采用的是黑名单制度，包括淘宝：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
那么，采用“白名单制度”和“黑名单制度"哪个更好呢？？
Robots白名单制度：可以有效解决重复收录、私隐信息被抓取等问题。
Robots黑名单制度：个人感觉效率低于 Robots白名单制度。毕竟蜘蛛总会主动发现一些不应该收录的页面而最后被收录了。 |
|