【K哥爬蟲普法】百度、360八年恩怨情仇，robots 協定之戰終落幕

大陸目前并未出台專門針對網絡爬蟲技術的法律規範，但在司法實踐中，相關判決已屢見不鮮，K哥特設了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規利用爬蟲技術，警鐘長鳴，做一個守法、護法、有原則的技術人員。

前情提要

《網際網路搜尋引擎服務自律公約》（簡稱《自律公約》）系在工業和資訊化部的指導下，由中國網際網路協會牽頭組織十二家網際網路企業于2012年11月1日在北京舉行簽訂，參與企業包括：百度、即刻搜尋、盤古搜尋、奇虎 360、盛大文學、搜狗、騰訊、網易、新浪、宜搜、易查無限、中搜等。該公約第七條第一款規定：遵循國際通行的行業慣例與商業規則，遵守機器人協定（robots 協定）。第八條規定：網際網路所有者設定機器人協定應遵循公平、開放和促進資訊自由流動的原則，限制搜尋引擎抓取應有行業公認合理的正當理由，不利用機器人協定進行不正當競争行為，積極營造鼓勵創新、公平公正的良性競争環境。

案情介紹

一審受理：2013年1月28日、二審終判：2020年7月3日，為期時長八年！

上訴人：

北京百度網訊科技有限公司（簡稱百度網訊公司）

百度線上網絡技術（北京）有限公司（簡稱百度線上公司）

被上訴人：

北京奇虎科技有限公司（簡稱奇虎公司，360）

百度網訊公司和百度線上公司稱，其相關網站均通過 robots 協定設定了通路限制，其 robots 協定采取的是“白名單”制度，即隻有該檔案中明确列舉的搜尋引擎的網絡機器人才能抓取百度旗下相關網站的内容，未列舉的其他搜尋引擎均不能抓取。2012年8月16日，360 搜尋引擎上線營運，但百度網訊公司和百度線上公司的相關網站的 robots 協定均未将 360 搜尋引擎列入其“白名單”中。百度方面認為，360 搜尋在未獲得百度公司允許的情況下，違反業内公認的 robots 協定，抓取百度旗下百度知道、百度百科、百度貼吧等網站的内容，已經構成了不正當競争，并向奇虎索賠1億元。

百度方面稱，奇虎公司利用 360 搜尋引擎等，強行抓取網民的浏覽資料和資訊到搜尋伺服器，完全無視 robots 協定，這一做法目前已經導緻大量企業内網資訊被洩露。2012年年底，百度工程師通過一個名為“鬼節捉鬼”的測試，證明了 360 浏覽器存在私自上傳“孤島頁面”等隐私内容到 360 搜尋的行為。

360 方面則認為，360 搜尋索引這些内容頁面并不涉嫌侵犯百度的權益，實際上還為百度帶來了大量的使用者和流量，百度應該感謝 360。

百度公司在本案中指控奇虎公司的 360 搜尋存在以下不正當競争行為：

1. 無視百度公司設定的 robots 協定，擅自抓取、複制百度網站相關頁面并生成網頁快照複制件存儲于奇虎公司自身伺服器中；
2. 在明确得知百度公司拒絕其抓取百度網站内容後，仍然繼續抓取、複制百度網站内容并生成網頁快照複制件存儲于奇虎公司自身伺服器中；
3. 在網絡使用者點選 360 搜尋的搜尋結果頁中來自于百度網站的連結的标題時，直接向網絡使用者提供其複制存儲在自身伺服器上的“網頁快照”等，上述行為構成不正當競争。

奇虎公司也認為百度網訊公司、百度線上公司存在不正當競争行為，奇虎公司送出的(2013)京方圓内經證字第00364号公證書、(2013)京方圓内經證字第06932号公證書、(2013)京方圓内經證字第11476号公證書及(2015)京方圓内經證字第00228号公證書顯示，自2012年8月以來，百度網訊公司、百度線上公司一直在其相關網站的 robots 協定中排除 360 搜尋引擎。百度網訊公司、百度線上公司對上述事實予以認可，但認為 robots 協定是國際通行的行業慣例和商業道德，允許和/或限制全部和/或特定搜尋引擎抓取是 robots 協定的應有之義，百度 robots 協定的“白名單”制度僅允許特定的幾家搜尋引擎抓取，對除此之外的所有其他搜尋引擎均不允許抓取，不存在不正當競争行為。

奇虎公司送出的(2013)京方圓内經證字第05960号公證書顯示，使用 360 搜尋引擎搜尋到百度的相關網站後，在點選通路時，會出現通路被阻斷并跳轉到百度搜尋引擎網站的現象。奇虎公司認為百度采取的相關技術措施會導緻網絡使用者在使用 360 搜尋引擎時的使用者體驗度下降。百度網訊公司、百度線上公司對上述事實予以認可，但認為這是針對奇虎公司不遵守百度 robots 協定而采取的自力救濟措施。

法院觀點

百度網訊公司、百度線上公司通過設定 robots 協定的方式限制 360 搜尋引擎對其相關網頁的抓取與 robots 協定的初衷背道而馳。robots 協定的初衷是為了指引搜尋引擎的網絡機器人更有效的抓取對網絡使用者有用的資訊，進而更好的促進資訊共享，而百度網訊公司、百度線上公司的行為會造成網絡使用者通過 360 搜尋引擎無法得到完整的搜尋結果，人為設定了資訊流動的障礙。需要強調的是，360 搜尋引擎屬于通用搜尋引擎，而通用搜尋引擎的網絡機器人進入一個對公衆開放的網站抓取資訊通常并不會損害網站的利益，反而有利于其宣傳推廣。事實上，目前絕大多數網站對通用搜尋引擎持開放、歡迎的态度，因為如果被搜尋到，就意味着更多的網頁浏覽量以及由此而帶來的潛在使用者。也正是由于這個原因，絕大多數網站非但不會使用 robots 協定禁止通用搜尋引擎抓取，反而希望能夠更快的被搜尋出來并展示在搜尋結果中較為前列的位置，這也促成了搜尋引擎競價排名等商業模式的産生。而百度網訊公司、百度線上公司卻在允許國内外主流搜尋引擎抓取其網頁内容的情況下，限制 360 搜尋引擎抓取，其行為顯然有悖于robots協定的初衷。

就大陸目前網際網路搜尋行業的發展現狀來看，百度搜尋引擎在市場佔有率上占據絕對優勢，而 360 搜尋所占的市場佔有率較小。在這種情況下，百度網訊公司、百度線上公司通過設定 robots 協定的方式限制 360 搜尋引擎對其相關網站内容的抓取，會導緻網絡使用者在使用 360 搜尋引擎時無法及時擷取所需資訊，轉而使用百度搜尋引擎，這不僅會降低 360 搜尋的使用者滿意度，損害奇虎公司的合法權益，也會在客觀上增強百度搜尋引擎的市場優勢地位。不難想象，如果國内各主要網站都針對某一特定的搜尋引擎以設定 robots 協定的方式限制其抓取，這一搜尋引擎必然無法在市場上立足。事實上，包括網際網路工程任務組在内的一些重要的國際組織拒絕采納 robots 協定作為行業标準的原因就是考慮到少數行業巨頭可能會利用 robots 協定本身的漏洞而将其作為壟斷的工具。是以，百度網訊公司、百度線上公司以設定 robots 協定的方式限制 360 搜尋引擎抓取的動機難謂正當。

百度網訊公司、百度線上公司還主張其設定 robots 協定是針對奇虎公司的侵權行為而采取的自力救濟措施，對此，如果網站所有者認為搜尋引擎的抓取侵犯了其某項具體的民事權利，應當通過相應的法律途徑尋求救濟，而不應以限制網際網路資訊流動的方式進行所謂的自力救濟，故百度網訊公司、百度線上公司的主張不能成立。

法院認為：百度線上公司、百度網訊公司在缺乏合理、正當理由的情況下，以對網絡搜尋引擎經營主體差別對待的方式，限制奇虎公司的 360 搜尋引擎抓取其相關網站網頁内容，影響該通用搜尋引擎的正常運作，損害了奇虎公司的合法權益和相關消費者的利益，妨礙了正常的網際網路競争秩序，違反公平競争原則，且違反誠實信用原則和公認的商業道德而具有不正當性，不制止不足以維護公平競争的秩序，故構成反不正當競争法第二條規定所指的不正當競争行為。

根據第2668号判決：奇虎公司的搜尋引擎直接将百度公司相關網頁的連結更換為該網頁的網頁快照連結的行為明顯已經超出了使用網頁快照的合理範圍，故對于百度公司關于奇虎公司将百度公司網站的搜尋結果直接以網頁快照的方式向網絡使用者提供的行為不當的主張予以支援。奇虎公司賠償百度公司經濟損失五十萬元、合理開支二十萬元。

判決情況

• 百度網訊公司、百度線上公司立即停止涉案不正當競争行為；
• 百度網訊公司、百度線上公司于判決生效之日起十日内連帶賠償奇虎公司經濟損失二十萬元；
• 百度網訊公司、百度線上公司于判決生效之日起三十日内在三家網站（www.360.cn,www.sina.com,www.sohu.com）首頁的顯著位置連續十日刊登聲明，就其涉案不正當競争行為為奇虎公司消除影響；
• 二審案件受理費四千三百元，由百度網訊公司、百度線上公司負擔；
• 駁回奇虎公司的其他訴訟請求。

判決文書

https://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=2hBPLhgZtbwA23kIOPykUj0dG01aCOIIPkk1AZnSayoXsuzZo9x8i5/dgBYosE2gc2cTGVpSTHaQan7hFsr1Zwgx9Ozn/Ie9t4Hw4I001PFz+vTgpLDCjyH0Qfy2ffn6

案例分析

robots 協定也稱爬蟲協定、爬蟲規則等，是指網站可建立一個 robots.txt 檔案來告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜尋引擎則通過讀取 robots.txt 檔案來識别這個頁面是否允許被抓取。但是，這個 robots 協定不是防火牆，也沒有強制執行力，搜尋引擎完全可以忽視 robots.txt 檔案去抓取網頁的快照。 如果想單獨定義搜尋引擎的漫遊器通路子目錄時的行為，那麼可以将自定的設定合并到根目錄下的 robots.txt，或者使用 robots 中繼資料（Metadata，又稱中繼資料）。

robots 協定并不是一個規範，而隻是約定俗成的，是以并不能保證網站的隐私，例如商品上挂個“非賣品易碎勿碰”，是告訴顧客不要碰這件商品，但無法阻止顧客拿起來看的行為，未損壞也并不違法，故俗稱 “君子協定”，并不具備法律效應。robots 協定的初衷并不是限制搜尋引擎的網絡機器人抓取資訊、阻礙網際網路資訊流動，而是通過善意的指引使搜尋引擎的網絡機器人能夠更有效的抓取對網絡使用者有用的資訊，進而更好的促進資訊共享。

結合本案，根據反不正當競争法第二條第一款、第二款規定：“經營者在市場交易中，應當遵循自願、平等、公平、誠實信用的原則，遵守公認的商業道德。本法所稱的不正當競争，是指經營者違反本法規定，損害其他經營者的合法權益，擾亂社會經濟秩序的行為。”在網絡不正當競争糾紛中，百度網訊公司、百度線上公司通過資訊網絡實施反不正當競争法未作出特别規定的競争行為，足以損害奇虎公司合法權益、擾亂正常的市場經營秩序，違背公平競争原則，且違反誠實信用原則和公認的商業道德的，可以認定為反不正當競争法第二條規定的不正當競争行為。

robots 協定有效性的認定，在适用範圍上可以大緻分為兩類：一類是如本案在搜尋引擎範圍的适用，當 robots 協定适用搜尋引擎領域時，應遵守《網際網路搜尋引擎服務自律公約》規定的開放、平等、寫作、分享的網際網路精神，設定限制時應具有行業公認合理正當的理由，否則 robots 協定并不當然有效；另一類為在非搜尋引擎範圍的适用，此時《網際網路搜尋引擎服務自律公約》則不宜再适用于整個網際網路行業，對于正常爬蟲行為，在法律上并未規定為違法行為或禁止使用的行為。

如今，在中國國内網際網路行業，正規的大型企業也都将 robots 協定當做一項行業标準，國内使用 robots 協定最典型的案例，就是淘寶網拒絕百度搜尋（2008年9月8日）、京東商城拒絕一淘網搜尋（2011年10月25日），相關司法案例也屢見不鮮：百度訴 360 案、騰訊訴位元組跳動案、大衆點評訴百度案等等。不過，絕大多數中小網站都需要依靠搜尋引擎來增加流量，是以通常并不排斥搜尋引擎，也很少使用 robots 協定。

爬蟲工程師們也需要注意的一點是，基于現行的慣例，未被 robots 協定排除的資料屬于網際網路上的公開資料，任何人都有權通路和收集。因而，遵循 robots 協定的前提下公開爬取資料原則上既不會侵犯資訊提供者的權利，也不會構成不正當競争。反之，如果違反 robots 協定，強行爬取他人的資料，則可能被認定為違反誠實信用和商業道德，構成不正當競争。