每天拿出一分钟来学习,你的生命会更加精彩。
  • 首页
  • 洪雨seo
  • 洪雨seo:index、noindex、follow、nofollow的使用说明

洪雨seo:index、noindex、follow、nofollow的使用说明

发布:洪雨2021-1-17 9:28分类: 洪雨seo 标签: 洪雨seo


爬虫是目前最常见的网络程序,曾经有过统计,说是目前的网络流量有一半以上是爬虫使用的。虽然爬虫程序随处可见,但是并不代表这种做法就是合理合法的。
在抓取网页时,我们要让自己的爬虫遵守Robot.txt协议。一般网站有两种方式声明不想被爬虫爬取按:第一种是在站点的根目录下增加一个纯文本文件,例如http://www.zhizhuowz.com/robots.txt。第二种是直接在页面中使用robots的meta标签。
接下来,详细介绍一下robots的meta标签。标签有四类:index、noindex、follow、nofollow。使用时以逗号分隔。

1.index指令:表示Robot可以索引本页;
2.follow指令:表示Robot可以跟踪本页链接;
3.noindex指令:表示拒绝Robot索引本页,但可跟踪该页上的链接;
4.nofollow指令:表示拒绝Robot跟踪本页链接,但可索引本页

根据以上的命令,我们就有了一下的四种组合:

1.<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
2.<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
3.<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
4.<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接。

这里需要注意的是,不要把两个对立的反义词写到一起,例如

<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">

还有一点,禁止搜索引擎建立快照。

<meta name="robots" content="noarchive">

以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写

<meta name="Googlebot" content="noarchive">

温馨提示如有转载或引用以上内容之必要,敬请将本文链接作为出处标注,谢谢合作!

已有 0/997 人参与

欢迎使用手机扫描访问本站,还可以关注微信哦~