ZblogPHP网站robots的写法教程
robots.txt 是存放在网站根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。搜索引擎蜘蛛在抓取网站页面前,会先看一下robots.txt的内容,哪些页面可以抓取,哪些页面被站长禁止抓取。当然,是否遵守robots文件的规则就靠自觉了,某些坏蜘蛛就不遵守,站长是没办法的,比如采集内容的、克隆网站的。
robots文件还可以屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容等。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
在写robots .xt规则之前,要先了解zblog包含的文件,文件夹以及它们的作用是什么。
feed. php : RSS Feed入口文件 index. php :前端页面入口文件 search.php:搜索入口文件 zb_ install 文件夹: zblog 初始化安装文件夹,安装完毕会自动删除,或手动删除 zb_ system文件夹:为zblog框架的主要文件,需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取 zb_ users 文件夹:为zblog为用户文件夹,里面包含了主题文件夹,插件文件夹,以及附件存放文件夹。 avatar :户头像文件夹 cache :缓存文件夹 data :数据文件夹(屏蔽蜘蛛) emotion :表情文件夹 language :语言包文件侠(屏蔽蜘蛛) logs:目志文件夹里面文件是记录错误的(屏蔽蜘蛛) plugin:插件文件夹 theme :主题文件夹 upload :附件文件夹(图片或其它类型文件) zblog博客的robots .txt文件的写法
ZblogPHP博客的robots.txt文件的写法
User-agent: * Disallow: /zb_system/ Disallow: search.php Disallow: /zb_users/data/ Disallow: /zb_users/language/ Disallow: /zb_users/logs/ Sitemap:https://www.lihaiblog.cn/sitemap.xml User-agent: * Disallow: /zb_system/ Disallow: search.php Disallow: /zb_users/data/ Disallow: /zb_users/language/ Disallow: /zb_users/logs/ Sitemap:https://www.lihaiblog.cn/sitemap.xml
注意:sitemap.xml 为网站的地图文件,可以在ZBlog应用中心搜索相关的插件。
robots.txt文件的安装与效验
robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的,否则是没有什么作用的。
安装方法:
1、本地新建‘文本文档’并命名为 "robots.txt"把上面的内容复制,保存即可。
2、把"robots.txt"文件上传到服务器的网站根目录即可。
rotots.txt文件效验:可以通过百度搜索资源平台进行效验。