以前洪雨写微信公众号采集，都是用脚本的形式。
原理打开微信pc端，打开目标公众号的历史文章页面，拖动页面加载文章，然后右键获取源码，通过源码进行采集。
为什么这样做？
是因为微信可以打开公众号文章页面，但是不让别的浏览器直接打开公众号的历史页面。你就无法批量采集文章链接。只好出此下策。
为什么不直接采集搜狗，因为搜狗资源不全，而且搜狗也不让你多采集，需要加代理……
昨天打开软件测试了一下，发现不好用了。
为什么？
微信更新了，程序自带的浏览器，无法右键获取源码了……
于是上网找办法，看到知乎有人说了个思路。说，抓包微信的浏览器，然后模拟他的协议头，看能不能打开那种不让别的浏览器运行的页面。
昨天咬牙拿出一小时初学了一下fiddler抓包，果然抓到了微信公众号的链接。
本着尝试的心态，读取了一下源码，发现果然不行。然后附加协议头，发现还是不行，然后又附加了cook。好家伙，这么简单，居然成功了。
尝试拖动页面加载页面，发现又抓到包了，只要变动一下参数就能获取全部的文章链接。
剩下的就是把源码json解析一下就行了。
一切就这么顺利，我自己也没想到。原来fiddler这么强大！
中间虽然也有一些波折，比如抓https要装证书啥的这里就不记录。
说说采集公众号的重点，1.抓到包很容易，关键是如何获得参数组装链接。2.如何获取cook我没有研究，后面待学习。3.抓取频率太快会有封号风险！
fiddler如果玩的熟练，真的可以月入过万。
但是，有一道所有做爬虫的人都必须过的坎，那就是js解密，一定要会。否则永远都是二流选手。一旦搞定，真正迈入高手行列，薪资都是万起步。
发表评论：