困蜘蛛和无限繁殖技术其实是一个意思。
原理就是网站自动生成无限的页面和链接，蜘蛛不停的抓取，以至于甚至出不来。
这种困蜘蛛的现象和技术不是现在才有的。很早以前就出现过，但是昙花一现，被封杀了。
最早的实现形式是什么样的呢？
困蜘蛛行为最早是无意之举。大家都知道asp程序都是根据规则动态生成页面的，而每个网站的日历模块大多是按照一定逻辑自动组成的万年历。
你翻页就会根据规则生成无限的日历页面，蜘蛛一旦进入就很难出来，因为理论上日期页面是无穷无尽的。
所以那时候，百度的算法直接做了更改，动态网站谨慎抓取（几乎不抓）。
近些年，随着网络速度的提升，百度服务器能力的加强（赚钱了），渐渐放开对asp等动态程序的限制，开始大量抓取。
这就给一些人可趁之机，市面上出现大量所谓无限繁殖功能的网站和站群。
根据我上面的讲解，大家应该已经明白原理了，这些网站就是依靠动态程序疯狂随机的生成页面，吸引蜘蛛来抓取。每次刷新页面，页面的内容都会改变。
就算蜘蛛回过头来再次抓取已收录的页面，每次也都是不一样的。蜘蛛会以为页面更新了，再次抓取……
不是说动态网站不爱收录吗？
对，没错，虽然百度现在开始收了，但是对动态网站的态度，还是远远不如对静态友好。
不过，现在无论是asp还是php程序，都可以在服务器设置伪静态规则。
所谓伪静态，不要以为真的是伪装成静态，其实经过规则的设置以后，在百度眼里（蜘蛛抓取的时候）你网站的页面就是静态的。
所以……
最后洪雨讲点高级的。
通过网络协议自己架设服务器是可以直接生成这种网站的，可以做蜘蛛劫持，蜘蛛统计，甚至连数据库和网页都不需要，一个软件全搞定。
什么意思？
当一个蜘蛛（用户）访问你的网站，程序会自动识别你是蜘蛛还是用户，然后创造一个页面（内容）给蜘蛛（用户）浏览。无论你浏览哪个页面，点击什么链接，展现在你面前的都是程序当下生成出来给你看的内容。网站本身什么都没有。
也就是说，你只是看到了当下的一个页面，你以为这是一个网站，但其实除了你浏览的当下这个页面以外，其他什么都没有。
这种依赖于网络协议的空壳网站程序，在多年前就出现在市面上。
但是因为对服务器的要求比较高，并发数有限，所以大部分的站群还是asp和php这样专门的网页编程语言开发。
以前洪雨只研究seo技术，对站群什么的很不屑，从没去研究过，当然也不明白原理。最近学习了一下服务器和网络协议相关知识，发现原来如此。
发表评论：