WordPress站点的网络爬虫协议robots该怎么写？

如果你网站没有写robots，那么就很有可能会被一些机器利用，然后攻陷你的站点，这个我上篇文章简单提到过。

比如别人在你网站大量搜索垃圾营销词，而你恰好没有写robots，那么百度就会收录那些搜索页面，那些在你网站里面的垃圾营销词就会被收录，而你网站就成了别人SEO的工具，成了别人的跳板，从而被百度K掉，再也不会收录你的站点。

上面我只是举了其中一个例子。所以说，写一个robots是必须要做的。

robots是啥东西，简单的说，通俗易懂的说，就是告诉搜索引擎（百度、谷歌）有些页面你们不要抓取，有些页面你们可以抓取。通常情况下，这是搜索引擎都会遵守robots协议，俗称网络爬虫协议。

User-agent: * 
Disallow: /wp-admin/ 
Disallow: /wp-includes/ 
Disallow: /wp-content/
Disallow: /feed 
Disallow: /articles/*/feed 
Disallow: /category/ 
Disallow: /page/ 
Disallow: /*?replytocom= 
Disallow: /trackback 
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?* 
Sitemap: https://shuipingtu.com/sitemap.xml

简答说明：

前面三项是系统自己生成的，告诉搜索引擎不要抓取后台。Disallow就是禁止的意思。

不要抓取feed订阅页面，不要抓取抓取分类的分页，不要抓取页面的分页，不要抓取垃圾信息，不要抓取搜索结果，可以抓取网站地图。

上面只是些基本的写法，你想要哪些页面，可以自己添加进去。

使用方法：在网站的根目录里面新建一个名称为robots.txt文本文件，将上面的内容放进去，就完事。