想用爬虫爬爬指定微博的粉丝数，该用什么爬虫框架好？

IT技术 • helpe0 • 发表于 5 年前 • 最后回复来自 helpe0 • 5 年前

要求：
1）指定微博号的粉丝数
2）每天定时去爬
3）可以快速扩展，去爬抖音、美拍等等

该选用开源框架呢还是自家研发？

共收到3条回复

lcy630409 5 年前 #1

你要快速扩展最好自己搞这个事不难，因为你是每天一次访问，，他们不会拉黑你的ip的

viney 5 年前 #2

最近在研究抓包，一个收费的直播APP，由于是黑产，只有APP。没有官网等等，比你这个应该复杂

使用的技术有Fiddler+Xposed+Justtrustme+Android模拟器被虐的体无完肤
思路是
1、抓取APP协议数据
2、抓取HTTPS协议数据
3、解决ssl-pinning问题
然后就可以愉快的玩耍了

helpe0 楼主 5 年前 #3

请绑定手机号后，再发言，点击此处