找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
网推大家坛 新闻 网站推广 建站技巧 查看内容

禁止搜索引擎收录和抓取网站内容

2017-4-13 20:23| 发布者: tiantian987| 查看: 70| 评论: 0

简介:有些时候我们不希望搜索引擎抓取我们的网站内容。 就直接在网站根目录建立一个 名字为robots.txt的记事本文件 里面直接写: User-agent: * Disallow: / 这个是禁止全站抓取的 比如想单独禁止抓取收录网站下的 ...

 有些时候我们不希望搜索引擎抓取我们的网站内容。

就直接在网站根目录建立一个 名字为robots.txt的记事本文件

里面直接写:

User-agent: * 

Disallow: / 

这个是禁止全站抓取的

比如想单独禁止抓取收录网站下的 a 目录

就直接写 Disallow: /d/ 就行了

另外这个记事本如果需要备注和注释的话 在前面加# 就行

 

我们在需要某一个搜索引擎的时候可以这样写

User-agent: Baiduspider Disallow: 

User-agent: * 

Disallow: /

 

这个是只允许百度抓取

收藏 分享 邀请
鲜花
鲜花
握手
握手
雷人
雷人
路过
路过
鸡蛋
鸡蛋

看过本文的人还看过

已有 0 人参与

会员评论

推荐阅读

    返回顶部