wordpress robot設定

User-agent: *表示允許全體搜尋引擎蜘蛛通路

User-agent:Baiduspider 表示允許百度搜尋引擎蜘蛛通路

Disallow: /abc 表示禁止通路收錄abc.檔案下的所有内容

Disallow: /abc/ 表示僅禁止通路abc檔案夾下的所有檔案，不限制abc.php、abc.html檔案。

插件、模闆、js檔案這些是網站的背景程式代碼，也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件檔案

Disallow: /wp-content/themes/ 限制模闆檔案

Disallow: /wp-includes/ 限制js檔案

Disallow: /? 限制動态頁面

Allow規則同Disallow

下面是wordpress部落格robot通用設定方法：

/---------分割線--------/

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: //comment-page-

Disallow: /?replytocom=

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: //?s=\

Disallow: /?

Disallow:/tag/

Disallow: /attachment/

Disallow: /search.html

Disallow:/404.htm

Sitemap: 你的域名/sitemap.xml

其中sitemap.xml是你的網站的網站地圖檔案。

sitemap.xml的建立是為了更有利于搜尋引擎的的抓取政策，進而提高工作效率。

Sitemap.html格式的網站地圖主要用來友善使用者的浏覽使用，并不能起到 XML Sitemap 所起的作用。

提示：

良好的robort.txt協定可以指導搜尋引擎抓取方向，節省“蜘蛛”抓取時間，是以無 形中提升了“蜘蛛”的工作效率，也就提高了頁面被抓取的可能性了。

wordpress自定義連結僞靜态設定：/%post_id%.html