首页 职业指导正文

如何设置网站的robots.txt文件

小木 职业指导 2020-07-05 197 0 robots.txt

对于SEO老手来说,设置robots.txt是小菜一碟,但是对于像小木这种新手菜鸟来说,真的折腾了三天,才终于搞清楚。

今天,我就把这个东东给大家分享一下,免得大家走弯路——

什么是robots.txt?

简单的说robots文件是搜索引擎蜘蛛爬取网页时要遵守的协议文件,这个文件是以记事本 txt 的形式保存在网站的根目录下。

再通俗点说就是这个文件能让百度、谷歌、搜狐、360等各种搜索引擎能找到你的网站,你可以通过这个文件设置你的网站的东西哪些让它们找到你,哪些不想让它们找到你,当然,你也可以不设置这个文件,那么,各种引擎或者蜘蛛可以看到你整个网站,不过听大佬说,网站最好设置好这个文件,这样会更有利于百度找到你!

那么,如何设置robots.txt呢?

对于老手来说,可以说的头头是道,但是对于我在这种小白,就一头雾水了,好吧,咱用百度搜索自动生成robots.txt,怎么弄呢?

这里小木用比较正规的大站为例如何设置这个文件。

http://tool.chinaz.com/robots/

QQ图片20200705213347.png

打开上面链接,分三步骤完成设置robots.txt:

第一步设置好限制目录,不限制,就啥也不填写;

第二步输入你网站链接,设置Sitemap(网站地图,这个是让百度等蜘蛛找到你网站的很重要的东东,一定要设置);

第三步,选择允许所有引擎就可了。

最后点击生产文件按钮,你的robots.txt就出来了,我的是这样的:

# robots.txt generated at http://tool.chinaz.com/robots/ 

User-agent: *

Disallow: 

Sitemap: http://gandianshaonline.com//sitemap.xml

当然,第一行可以去掉,留下面三行就行了。

现在,你需要把这个文件放到你网站的根目录下了,至于根目录在哪里,你如果不知道,可以问一下服务商或者技术人员,我的网站的根目录是:domains/您的域名/public_html。

最后要验证一下,是否设置正确了,打开百度资源搜索平台:

https://ziyuan.baidu.com/property/

22.png

最后显示:您的Robots文件已生效,整个设置就算成功了。

如果你非要搞清楚这个文件里面的代码什么意思,你可以看看下面的解释:

User-agent:指定规则适用于哪个蜘蛛(如:如百度是Baiduspider,谷歌是Googlebot或是其他搜索引擎);

Allow:允许抓取什么URL路径;

Disallow:不允许抓取什么URL路径;

通配符*代表所有搜索引擎;

结束符$:表示以前面字符结束的u。

请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,可以不建立robots.txt文件。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

评论