如何使用robots、nofollow?

如何使用robots、nofollow?

一、robots.txt
新建文本文档,命名robots,存放在网站根目录下。

网站目录下所有文件均能被所有搜索引擎蜘蛛访问
User-agent: *
Disallow:
禁止所有搜索引擎蜘蛛访问网站的任何部分
User-agent: *
Disallow: /
禁止所有的搜索引擎蜘蛛访问网站的几个目录
User-agent: *
Disallow: /c/
Disallow: /d/
禁止搜索引擎蜘蛛访问目录d和目录d
只允许某个搜索引擎蜘蛛访问
User-agent: Googlebot
Disallow:

例子:

User-agent: *
Disallow: /index.html (为禁止蜘蛛访问首页)
Disallow: /bbs (为禁止蜘蛛访问论坛目录)

二、nofollow 标签

nofollow 的意义就是告诉搜索引擎”不要追踪此网页上的链接”或”不要追踪此特定链接。

1、将”nofollow”写在网页上的meta标签上,用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接。

2、将”nofollow”放在超链接中,告诉搜索引擎不要抓取特定的链接。

发表评论

电子邮件地址不会被公开。 必填项已用*标注