近日，随着“大众点评诉百度不正当竞争”案件的宣判，爬虫协议与不正当竞争行为之间的关系再次受到互联网及法律行业的普遍关注，此问题也时常被咨询人询问。究竟爬虫协议效力如何？遵守或违反爬虫协议是否都会构成法律所禁止的不正当竞争行为？本文将结合相关技术与法律展开简要分析。

　　一、什么是爬虫协议

　　（一）蜘蛛机器人程序与爬虫协议

　　1.爬虫协议的产生

　　为获得互联网海量信息资源，一种名为蜘蛛机器人（Spider程序、网络爬虫）的程序被开发出来，此程序按照一定的规则，像蜘蛛结网一样自动地抓取互联网信息或脚本。为防止信息提供者的信息被自动爬取从而产生互联网风险甚至违法行为，国际互联网界设立了爬虫协议（Robots协议）作为通行的道德规范，在提倡信息共享及搜索技术服务于人类的同时，尊重信息提供者不愿公开内容的意愿。

　　2.爬虫协议的内容及运行方式

　　爬虫协议以Robot.txt格式文本的形式存于网站根目录（逻辑程序的最上一级目录）之下，记载此网站公开信息的范围。当蜘蛛机器人访问网站时，首先检查是否存在爬虫协议，如果协议存在，蜘蛛机器人就会按照协议中确定的公开范围爬取信息；如果协议不存在，则所有信息都可以被爬取。

　　（二）爬虫协议的效力

　　1.从技术角度分析

　　Robot.txt格式文本就是家用电脑中最常用的“文本文档”（相较于Word更简单的记事本），只能实现最基本内容记载功能，而非系统命令或者防火墙，并不能从技术上阻断蜘蛛机器人的抓取技术实现，如同守门人无法阻止窃贼等恶意闯入者[1]。

　　2.从法律角度分析

　　上文所述，爬虫协议不是法律，是互联网行业间的道德规范，没有法律强制力；爬虫协议也不是合同，合同是平等的当事人之间设立、变更、终止民事权利义务关系的协议。而爬虫协议中并没有相对当事人对民事权利义务进行约定。

　　因此，爬虫协议并不具有可执行力及约束力。该协议可理解为一份单方告知书，仅告知可爬取信息的范围。除非通过法定或者约定，单方告知行为并不会对任何人发生法律效力。但作为行业道德规范，从业者理应遵守。

　　二、遵守或违反爬虫协议都可能构成不正当竞争

　　当网站所承载的信息拥有足够价值的时候，就能够吸引更多的点击，更多的点击意味着更多的流量价值。但海量价值信息的收集与整理往往是单一主体无法实现的，故蜘蛛机器人程序应运而生。在存在市场竞争关系的前提下，这种直接爬取成品信息的行为好比“搭便车”，此行为造成了信息源网站点击量的下降，两者之间存在直接因果关系。

　　此时，判断蜘蛛机器人爬取信息行为是否构成不正当竞争，就要查明此爬取行为是否存在不当性。

　　（一）爬取行为违反爬虫协议构成不正当竞争

　　由于爬虫协议被储存在网站根目录之中，若网站存在该协议，蜘蛛机器人在访问网站时会不可避免的遇到爬虫协议，并能够读取到确定公开的信息范围。若蜘蛛机器人不顾爬虫协议之规定，随意爬取信息，可视为蜘蛛机器人程序设定者有意为之，存在破坏行业道德规范的主观故意，有意将他人收集、整理、上载的信息劳动成果占为己有，存在行为的不当性。

　　此时，“搭便车”行为的构成要件已充分，违反爬虫协议擅自爬取信息的行为构成不正当竞争。（【参考案例】百度诉360违反爬虫协议案，北京市第一中级人民法院，2014年8月7日宣判）

　　（二）爬取行为遵守爬虫协议也可能构成不正当竞争

　　互联网遵循开放、平等、共享的原则，提倡通过搜索技术将海量信息方便、快捷的呈现给用户。因信息使用是爬取信息后必然发生的后行为，爬取行为在遵守爬虫协议的情况下，是否构成不正当竞争行为，应对所爬取信息的使用进行考察:

　　1.爬取信息的使用遵循互联网原则

　　若蜘蛛机器人遵守爬虫协议开放内容爬取信息并展现，使信息通过搜索技术得到更加显著的汇集与指引，而非与蜘蛛机器人程序设定者所提供的产品或服务混淆，则可以认为是遵守互联网原则及爬虫协议的善意行为，蜘蛛机器人程序设定者不存在行为不当性，不构成不正当竞争。

　　2.爬取信息的使用违反诚实信用原则

　　市场经济鼓励市场主体在信息的生产、搜集和使用等方面进行各种形式的自由竞争，但是这种竞争应当充分尊重竞争对手在信息的生产、搜集和使用过程中的辛勤付出[2]。因此，并不能当然的认为遵守爬虫协议就一定不构成不正当竞争。上文所述，爬虫协议既不是法律也不是合同，而是行业道德标准，故不能解决抓取网站信息后的使用行为是否合法的问题。对于爬取信息的使用是否合法还应遵循不正当竞争行为的构成要件进行判断，在此不必考虑爬虫协议的存在。

　　首先，当蜘蛛机器人程序设定者与信息源网站所提供的产品或服务存在竞争关系时，爬取的信息将直接左右竞争主体之间的市场利益分配；其次，信息源网站的点击量会因爬取行为会产生影响；第三，蜘蛛机器人程序设定者所爬取的信息是信息源网站生产、搜集和使用过程中的辛勤付出，蜘蛛机器人程序设定者并未对信息价值作出贡献，此爬取行为具有明显的“搭便车”、“不劳而获”的特点，具有不正当性。

　　因此，即使是蜘蛛机器人程序设定者遵守了爬虫协议，但在上述情况下，对于所爬取信息的使用行为仍然违反了公认的商业道德和诚实信用原则，构成不正当竞争。（【参考案例】大众点评诉百度不正当竞争案，上海市浦东新区人民法院，2016年5月26日宣判）

　　综上所述，蜘蛛机器人爬取信息的行为是否构成不正当竞争，应以《反不正当竞争法》所规定的不正当竞争行为构成要件进行判断。对于违反爬虫协议的行为，该协议的提示作用可作为证明构成不正当竞争行为不当性的证据；而对于遵守爬虫协议的行为，也要对爬取信息的使用行为进行查明，判断其是否构成网络搭便车等不正当竞争行为。

　　北京12330提示，互联网为信息的分享及传播提供了前所未有的便利与资源，故互联网从业者在技术开发与商业推广过程中，要严守诚实信用原则与行业道德规范，营造健康有序的互联网环境。否则，它将变成一片荒蛮丛林。

　　参考文献：

　　1.上海市浦东新区人民法院，（2015）浦民三（知）初字第528号大众点评诉百度不正当竞争一审判决书，2016.5.26

　　2.知玲，《可以抓取，不能乱用，大众点评告赢百度》，载于微信公众号“网络舆情观察”，2016.5.31

　　3.云清风阳，《拨开互联网战争的硝烟——互联网不正当竞争典型案件分类评析》，载于微信公众号“互联网法律评论【ICPLaw第十二期】”，2014.12.16

　　4.《百度诉360不正当竞争案一审宣判：360赔偿70万》，载于第一财经网，2014.8.7

　　[1]  百度百科，《robots协议 》，http://baike.baidu.com/view/9274458.htm

　　[2]  （2015）浦民三（知）初字第528号，大众点评诉百度不正当竞争一审判决书