每天拿出一分钟来学习,你的生命会更加精彩。

易语言初学fiddler尝试抓包微信公众号

发布:洪雨2021-11-10 13:02分类: 编程相关 标签: 易语言 编程

    以前洪雨写微信公众号采集,都是用脚本的形式。

    原理打开微信pc端,打开目标公众号的历史文章页面,拖动页面加载文章,然后右键获取源码,通过源码进行采集。

    为什么这样做?

    是因为微信可以打开公众号文章页面,但是不让别的浏览器直接打开公众号的历史页面。你就无法批量采集文章链接。只好出此下策。

    为什么不直接采集搜狗,因为搜狗资源不全,而且搜狗也不让你多采集,需要加代理……

    昨天打开软件测试了一下,发现不好用了。

    为什么?

    微信更新了,程序自带的浏览器,无法右键获取源码了……

    于是上网找办法,看到知乎有人说了个思路。说,抓包微信的浏览器,然后模拟他的协议头,看能不能打开那种不让别的浏览器运行的页面。   

    昨天咬牙拿出一小时初学了一下fiddler抓包,果然抓到了微信公众号的链接。

    本着尝试的心态,读取了一下源码,发现果然不行。然后附加协议头,发现还是不行,然后又附加了cook。好家伙,这么简单,居然成功了。

    尝试拖动页面加载页面,发现又抓到包了,只要变动一下参数就能获取全部的文章链接。

    剩下的就是把源码json解析一下就行了。

    一切就这么顺利,我自己也没想到。原来fiddler这么强大!

    中间虽然也有一些波折,比如抓https要装证书啥的这里就不记录。

    说说采集公众号的重点,1.抓到包很容易,关键是如何获得参数组装链接。2.如何获取cook我没有研究,后面待学习。3.抓取频率太快会有封号风险!

    fiddler如果玩的熟练,真的可以月入过万。

    但是,有一道所有做爬虫的人都必须过的坎,那就是js解密,一定要会。否则永远都是二流选手。一旦搞定,真正迈入高手行列,薪资都是万起步。

温馨提示如有转载或引用以上内容之必要,敬请将本文链接作为出处标注,谢谢合作!

已有 0/689 人参与

发表评论:

欢迎使用手机扫描访问本站,还可以关注微信哦~