浅谈百度攻陷淘宝

大家都知道，大概在“百度是”上线之前，淘宝网为了避免百度恶意爬取，直接屏蔽了百度蜘蛛，也就是当时闹得沸沸扬扬的robots.txt协议。

即使你现在打开淘宝的robots.txt协议，你也能看到淘宝还在屏蔽百度的蜘蛛。

但真的如此吗？

事实证明，淘宝的robots.txt文件对百度蜘蛛根本没有作用。

小弟推测，百度之所以这样做，是因为百度考虑了战略方向，因为搜索了一下，发现一些知名的店铺在百度上的排名非常好。足以证明百度对于淘宝这样的店铺的重要性。更戏剧化的是，天猫（淘宝商城）也使用了robots.txt协议。百度蜘蛛也被屏蔽了。

另一种可能是淘宝网和天猫网的权重过高，导致百度蜘蛛不按照搜索引擎协议进行爬取。不过，对于这种事情，大家可以想一想前几天一淘网恶意抓取京东和新蛋网的商品数据，而且不遵守搜索引擎的规则。

直到现在，京东商城等也在对一淘网的蜘蛛进行封锁。

小编想说的是，现在的搜索引擎为了自己的利益，不遵守互联网协议的规则，这是值得反思的。我呼吁这样的大型互联网公司在整个IT行业树立一个好榜样。