北京市网站提升将向大家表述robots一些文件难题

无需加好友免费技术支持

北京市网站提升将向大家表述robots一些文件难题。搜索引擎蜘蛛访问大家网站的第一个网页页面是网站网站根目录robots.txt纯文本文件，由于全部搜索引擎都遵照robots该协议书，搜索引擎蜘蛛访问您robots.txt文件可以确定什么内容容许蜘蛛抓取，什么内容不可以蜘蛛抓取。因而北京市SEO提升觉得robots文件至关重要。

Robots.txt文件的功效：

1.屏蔽掉网站里的死链。

2.屏蔽掉搜索引擎蜘蛛抓取网站里的反复内容与网页页面。

3.阻拦搜索引擎引索网站的个人隐私。

robots.txt文件的基本语法

第一条是：User-agent，即搜索引擎蜘蛛的名字；

第二条是：Disallow，要阻拦的那一部分。

第三条是：Allow， 容许抓取的那一部分。

以下属于一些比较常见的词法标识符。你要是不了解，你可以参考一下创作

1.严禁全部搜索引擎蜘蛛访问网站的所有一部分

User-agent: *

Disallow: /

2.只可以全部搜索引擎蜘蛛抓取/zb_users/upload目录下的文件

User-agent: *

Disallow: /

Allow: /zb_users/upload/

3.只严禁全部搜索引擎蜘蛛抓取/zb_users/upload目录下的文件

User-agent: *

Allow: /

Disallow: / zb_users/upload

比较常见的搜索引擎蜘蛛：

百度搜索蜘蛛：Baiduspider

谷歌搜索蜘蛛：Googlebot

360蜘蛛：360Spider

搜狗搜索蜘蛛：Sogou News Spider

必应蜘蛛：bingbot

robots.txt文件需要注意的问题较大关键是：务必放到网站的根目录下，文件名务必所有小写字母。