ROBOTS标签使用方法

今天去查友情链接情况的时候发现了一个nofollow链接，然后我就去看源代码，结果找看半天没找着，后来才发现<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">这个标签的存在，其实这个标签有很多的使用方法。建议你把所有的Meta标签内容放在一个meta中。这将使得meta标签更易于读取并降低发生错误的概率。例如：

　　<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

　　如果一行包含对个meta标签，我们将会累加标签的内容，例如，我们会将

　　<META NAME="ROBOTS" CONTENT="NOINDEX">
　　<META NAME="ROBOTS" CONTENT="NOFOLLOW">

　　理解为：

　　<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

　　如果内容的数值有冲突，我们将使用最严格的那个。所以，如果有个页面包含下面的meta标签：

　　<META NAME="ROBOTS" CONTENT="NOINDEX">
　　<META NAME="ROBOTS" CONTENT="INDEX">

　　我们将只遵守noindex的数值。

有效的meta标签数值

　　Googlebot可以对下面的标签进行如下的解读：

　　NOINDEX - 阻止页面被列入索引。

　　NOFOLLOW - 阻止对于页面中任何超级链接进行索引。（注，这不同于超级链接上的nofollow属性，那个属性只是组织索引单独的链接）

　　NOARCHIVE - 不保存该页面的网页快照。

　　NOSNIPPET - 不在搜索结果中显示该页面的摘要信息，同时不保存该页面的网页快照。

　　NOODP - 在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。

　　NONE - 相当于“NOINDEX, NOFOLLOW”。

　　数值NONE的含义

　　据robotstxt.org的定义，下面的标记等价于 NOINDEX, NOFOLLOW 。

　　<META NAME="ROBOTS" CONTENT="NONE">

　　不过，有些网站站长使用这个标签来限制和组织所有搜索引擎来的内容索引。

　　单词拼写规范

　　Googlebot可以理解任何大小写的组合，所有大小写都是同样的效果。如果包含多内容的数值，数值之间需要使用逗号分隔。

　　同时使用robots.txt和robots meta标签

　　如果你同时使用了robots.txt文件和robots meta标签，如果robots.txt和meta标签有冲突，googlebot将使用限制更严的。具体来说：

　　如果你在robots.txt里禁止了某一页，Googlebot永远也不会去索引那一页，也不会读取那一页的任何标识。

　　如果你在robot.txt中允许，但是在页面中使用 meta 标签对其进行限制，那么Googlebots会访问那一页，读取里面的标签，但不会对其进行索引。

分享到: QQ空间 腾讯微博 腾讯朋友