seo:robots

     Robots協定（也稱為爬蟲協定、機器人協定等）的全稱是“網絡爬蟲排除标準”（Robots Exclusion Protocol），網站通過Robots協定告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。

    Robots協定是國際網際網路界通行的道德規範，基于以下原則建立：

1、 搜尋技術應服務于人類，同時尊重資訊提供者的意願，并維護其隐私權； 2、網站有義務保護其使用者的個人資訊和 隐私不被侵犯。

參考位址：

http://baike.baidu.com/link?url=t6XBJglRMUs-JkbHqW5Cp_9zw6BTUr-iO5xe5aAGyQgrHkduA-nL2xn73LCYZZEB_IzlS2dxzbkvnfq3uHvQ542ico7jhABNUS1DWyqknrd4KeNfY5wxLw7ULIZvVYNH