百度和360这两家颈部网络子公司,自从360在2012年推出360搜寻后就成为直接竞争者,彼此间接踵而来磨擦,引发了大量民事诉讼。

2013年,百度控告360不姑息,索赔1亿元,引起社会引起轰动。这大别列兹尼区因Robots协定而起,这是网络中文网站与搜寻引擎的沟通交流方式,又被称为食腐协定、机器协定,各个网络中文网站透过设置Robots协定,告诉搜寻引擎,他们的什么样文本可以被banlist,什么样则不能被banlist。

刑事案件共相于360搜寻上架后,百度并未将其列为Robots协定Transact,因此360搜寻无法banlist百度的中文网站文本。但360搜寻跨过了Robots协定,截取了百度新浪网、百度晓得、百度贴吧中的文本,并生成镜像向360搜寻使用者提供。

这起刑事案件在2014年8月7日一审,百度败诉,赔付70多万元。但刑事案件该案过程中,360提出诉讼了一项民事民事诉讼,称百度利用Robots协定是为的是限制360搜寻,是为的是维护他们的消费市场垄断地位而设立的竞争技术壁垒,带有蓄意和歧视。

这起民事民事诉讼的结果是360获得胜利,法院裁决百度构成不姑息,向360索赔20多万元。

不过,这场拉锯虽说无休止。在一审裁决多年之后,今年7月,美国联邦裁定法院才最终做出一审裁决,重审,否决百度的裁定。

这起裁决的意义已超出3B混战的商业纷争,而是对网络搜寻业务起到了理清规则的作用。

828战斗任务开战

360搜寻引擎于2012年8月16日上架。在此之后,360依靠完全免费策略抹杀了网络安全消费市场,随后刮起3Q混战,让网络元老百度极为消极。这一次,网络搜寻雄霸百度也难免为之虎躯一震。果然,3B混战一瞬间开战。

据服务器端子公司Hitwise数据显示,截至2012年8月26日,百度、360、Google、网易、百度搜搜的交易额依序为56.44%、10.22%、7.54%、7.14%、4.72%。

也就是说,360搜寻引擎上架仅10天,就抢占市场了搜寻消费市场的六分之一,并让百度失掉了近6%的消费市场占有率。

一场国内网络文化史上愚公的828战斗任务开战了。2012年8月28日晚上9时左右,百度开始在小范围进行试验:使用者透过360综合搜寻出访百度晓得、新浪网、贴吧等服务时,将会强行跳转至百度首页。

360随后展开对攻,使用者在360浏览器中使用360综合搜寻时,点击来自百度相关服务的搜寻结果,会被直接带至网页镜像页面。根据部分页面上提示的时间,这些百度页面的镜像,应该是360搜寻当日傍晚存储的。

双方采取这些举措的根源就是Robots协定。由于360搜寻未被百度列为Robots协定的Transact,360搜寻就无法banlist百度晓得、新浪网、贴吧中的海量文本。虽然其时,360搜寻宣称拥有13000多台服务器,庞大的蜘蛛食腐系统每日截取网页数量10多亿,引擎索引的优质网页数量超过200亿。

360搜寻跨过了Robots协定,直接向使用者提供百度网页的镜像。当时,百度工程师赵明华在微博中称,360搜寻不顾Robots协定肆意截取百度数据,是一种不遵守网络基本协定的行为,对全体网民的隐私和安全都会造成威胁,也破坏网民完整的搜寻体验,直斥360为偷窃数据(小偷)、劫持使用者(强盗)、欺骗(骗子)合作伙伴(主要是中小站长)。

什么是Robots协定

理解3B混战,首先需要理解什么是Robots协定。

Robots协定的英文全称为Robots Exclusion Protocol,直译为机器排除协定,又可称为食腐协定、机器协定,是指中文网站所有者设置于中文网站根目录下的一个文本文件,即robots.txt。

为的是提高网络使用者获取信息的效率,搜寻引擎出现,但同时也带来了新问题:

一是网络机器过快截取或重复截取相同的网页文本导致受访中文网站的服务器过载,影响中文网站正常运行,降低了截取的效率;

二是一些网络机器截取中文网站管理后台的内部信息、临时性文件、cgi脚本等对网络使用者没有使用价值的信息。

这些问题表明,需要建立一种受访中文网站与搜寻引擎的网络机器之间的交互方式,透过这种方式,中文网站所有者能够提示网络机器什么样网页文本没有必要截取,从而引导其截取对网络使用者有用的信息。

为解决上述问题,荷兰网络工程师Martijn Koster于1994年初首先提出透过在中文网站的根目录下设置robots.txt文件的方式来提示搜寻引擎的网络机器截取的范围。

1994年6月30日,一些网络机器设计者及爱好者在网络机器邮件组论坛上就Martijn Koster的提议达成一致意见,并形成了一个书面文档《机器排除标准》(《A Standard for Robot Exclusion》),其中有如下说明:它不是一个由标准组织备案的官方标准,也不属于任何商业组织。它没有强制执行力,也不能保证所有目前的或未来的网络机器将使用它。它是网络机器的设计者们提供给网络社区的一个通用工具,能够保护服务器免受网络机器不必要的打扰。

若某中文网站希望禁止任何搜寻引擎的网络机器截取,该中文网站的robots.txt文件写法如下:

User-agent:*

Disallow:/

1997年,Martijn Koster向网络工程任务组(IETF,Internet Engineering Task Force)提交了一份名为《网络机器控制方法》(《A Method for Web Robots Control》)的网络草案(Internet-Draft),其中对如何设置robots.txt文件作了进一步的说明。

IETF是网络领域最具权威的国际组织,其主要任务是制定网络领域的技术规范,绝大多数网络技术标准均出自IETF。任何人都可以向IETF提交网络草案,只有被IETF采纳才会成为行业标准或规范。

然而,IETF至今仍未采纳该草案。

被搁置的争议

2014年8月7日,百度控告360不姑息案一审一审,百度败诉,赔付70多万元。但法院在这起刑事案件中搁置了百度Robots协定拒绝360搜寻的合理性问题。

360百度大战(360跟百度打架)-第1张

(2014年8月7日,百度360不姑息纠纷案一审 来源:北京一中院)

此案中,北京一中院认定,360搜寻引擎在网络使用者点击原本链接到百度具体网页的搜寻结果时,直接链接至奇虎子公司网页镜像界面,其行为明显已经超出网页镜像的合理范围。这种行为构成了不姑息。

百度曾请求法院判令禁止360搜寻截取百度中文网站,但没有得到法院支持。

法院认为:百度在不知晓360提供搜寻引擎服务的前提下,没有将360搜寻引擎加入其Robots协定的Transact内并无不当。但是在360推出搜寻引擎之后,尤其是在双方争议短时间内快速升级,行政机关和行业协会已经积极介入调处,360也明确表示希望截取原告中文网站文本的前提下,百度既没有充分阐明如此设置Robots协定的理由,又拒绝修改其Robots协定。

事实上,根据今年7月北京高院作出的裁决书披露,当年北京一中院已经就百度Robots协定是否合理留出了余地:鉴于本案360对于百度将其中文网站相关栏目设置的Robots协定是否正当已经另行提控告讼,对于中文网站服务商或所有者设置Robots协定限制搜寻引擎食腐机器截取的合理理由的范围不予评述,留待后续刑事案件中,在双方当事人充分阐明对合理理由的意见后,再行判定。

3B混战延续至今

2012年828战斗任务开战后,宜搜CEO汪溪接受媒体采访时认为,与3Q混战二选一、速战速决的打法不同,3B混战将是小刀刮肉式的持久战。

此话一语成真。3B混战引发了多控告讼,双方互有胜负,延续至今。2013年10月,360控告百度不姑息,此案至今仍在一审之中。

但360控告百度Robots协定设置不合理,则将3B混战的层次从商战拉升到了网络规则层面。

此案的争议焦点为:百度透过设置Robots协定的方式限制360搜寻引擎截取其相关网页文本是否构成不姑息。

在法律界,形成了完全相反的观点:有人认为如何设置Robots协定是百度的经营自由,有人则认为Robots协定的初衷是为的是促进信息共享,应该保障网络的开放、公平。最终,法院采纳了后一种观点。

在裁决书中,法院举了一个形象的例子。

如果把中文网站比作一个对公众开放的博物馆,Robots协定就相当于在博物馆入口处悬挂的提示牌,告知游客什么样区域不对外开放,如:本馆三楼301-302室正在装修、四楼为办公区,谢绝参观。

提示牌的目的并不是限制游客的正常参观活动,而是透过提示游客什么样区域为非参观区,从而引导游客更有效的参观游览。

提示牌的文本对所有游客应一视同仁,如果要禁止某一类人进入参观,则需要有合理、正当的理由,如可基于安全的考虑,禁止无民事行为能力人进入参观。在缺乏合理、正当理由的情况下,禁止某一类人进入一个对公众开放的博物馆参观显然是不合理的。

2012年11月1日,在中国网络协会的牵头组织下,十二家网络企业签署了《网络搜寻引擎服务自律公约》(简称《自律公约》)。该公约第八条规定:网络所有者设置机器协定应遵循公平、开放和促进信息自由流动的原则,限制搜寻引擎截取应有行业公认合理的正当理由。

开放、平等、协作、分享

法院认为,任由网络子公司设置Robots协定会导致以下后果:

第一,影响了360搜寻引擎的正常运行。百度对Robots协定的设置方式导致360搜寻引擎无法截取其相关中文网站的网页文本,使得360搜寻引擎的功能无法正常发挥,从而直接影响360搜寻引擎使用者的上网体验,进而可能导致360搜寻引擎的网络使用者流失。

第二,损害了相关消费者的利益。影响网络使用者对360搜寻引擎使用体验的同时,迫使存在相关信息检索需求的网络使用者不得不更换其他搜寻引擎,从而影响网络使用者自主选择的决定权,增加了选择成本。

第三,将导致360搜寻引擎与百度之间交易机会和竞争优势的此消彼长。使用者放弃使用360搜寻引擎,在导致360搜寻引擎的交易机会和竞争优势受到削弱的同时,一定程度上增加了百度搜寻引擎的交易机会和竞争优势。

事实上,包括网络工程任务组在内的一些重要的国际组织拒绝采纳Robots协定作为行业标准的原因就是考虑到少数行业巨头可能会利用Robots协定本身的漏洞而将其作为垄断的工具。

第四,有违公平竞争原则,扰乱了正常的网络竞争秩序。百度对Robots协定的利用方式,是将其他经营者区别对待,此种有针对性、歧视的设置方式,有违公平竞争原则。此种行为与网络发展普遍遵循的开放、平等、协作、分享原则不符,若任由其发展,可能导致同行业经营者的效仿,从而有损社会公共利益。

21世纪经济报道记者发现,目前在360搜寻已经可以正常搜寻并打开百度的网页文本。

此役过后,在公平、开放的竞争环境下,百度仍然牢牢占据国内搜素引擎消费市场的最大交易额,360搜寻得到了有效发展,新的搜寻产品也在不断出现。

艾媒咨询《2018中国PC搜寻消费市场专题报告》显示,百度仍然占据56%的流量交易额,360搜寻流量交易额35.2%居于第二。而艾媒咨询《2019-2020年中国移动搜寻消费市场运行监测报告》显示,百度移动搜寻的使用者交易额为71.1%,神马搜寻、网易搜寻的使用者交易额分别为40.3%、32%。

更多文本请下载21财经APP