雖然Google現在去掉了搜尋結果中重複頁面的“Supplemental”标志,但是對于重複内容的懲罰Google從來都不會手軟。如果一個網站中的重複内容太多,不管是抄襲别人的(應該杜絕),還是站内内容重複,都會影響到SEO的效果,導緻流量不佳。
對于Wordpress部落格程式來說,分類,Archive,Page,author,标簽等頁面都會或多或少産生重複的内容。如果這些都被Google索引,那麼整個網站就會因為重複問題而受到相應的懲罰,流量也會相應減少。然而這些頁面在所難免都會出現這樣的問題,解決的辦法就是使用robots.txt檔案,通過它來禁止搜尋引擎索引可能産生重複内容的頁面。
Nathan Metzger稱,自從在robots.txt中做了相應修改後,網站流量增加了20%。
詳見:Get Your Blog Out of the Google Supplemental Index
可以參考一下Nathan Metzger和其他比較著名部落格的robots.txt檔案:
Nathan Metzger: http://www.notsoboringlife.com/robots.txt