总结一下现在采集抖音评论的方法,根据不同的业务可以选择不同的采集方式。
需要代码可查看第4部分网页版评论采集。
文章内容仅供参考学习,如有侵权请联系作者进行删除。
文章目录
- 1、自动化工具采集
- 2、第三方平台采集
- 3、APP评论采集
- 4、网页版评论采集
- 专栏分享
1、自动化工具采集
如果是自己采集评论做一些样本,数据量要求不是很高。可以使用fiddler、charles、或者mitmproxy 这些拦截工具,配合按键精灵或者自动化脚本讲加载的评论数据保存到本地。 (最好使用安卓系统为5的模拟器,防止ssl-pining)
《Charles保存抖音数据》
《Fiddler保存抖音数据》
mitm拦截示例:
from mitmproxy import ctx
def response(flow):if flow.request.host == "aweme.snssdk.com":url_path = flow.request.pathif '/aweme/v2/comment/list/' in str(url_path):response =flow.responseinfo=ctx.log.infoinfo(str(response.headers))info(str(response.text))
2、第三方平台采集
目前有很多抖音数据分析平台,但是通过第三方平台采集的数据不够稳定和实时。
3、APP评论采集
通过app的接口进行采集,至少需要xgorgon参数的生成算法
《unidbg调用so文件生成xgorgon》
然后根据模拟器或者手机上已有的设备信息构建 params 进行采集。
{'device_type' : 'VOG-AL10' ,'cpu_support64' : 'false' ,'app_type' : 'normal' ,'appTheme' : 'light','ac' : 'wifi' ,'host_abi' : 'armeabi-v7a' ,'update_version_code' : '16209900' ,'channel' : 'tengxun_1128_0531' ,'_rticket' : '1626233894816' ,'device_platform' : 'android' ,'iid' : '1865239863770253' ,'version_code' : '160200' ,'cdid' : 'ae926321-a4e6-4721-ae24-8ceaa423abbe' ,'is_android_pad' : '0' ,'openudid' : '906174f5f03770c3' ,'device_id' : '2727212898848365','resolution' : '900*1600' ,'os_version' : '5.1.1' ,'language' : 'zh' ,'device_brand' : 'Android'
}
如果采集量较大的话,还需要有大量的设备号,即需要有设备生成算法。
4、网页版评论采集
通过网页版采集视频评论,现在网页版的接口只需要有 _signature 参数即可进行请求。
_signature 具体的调用逻辑和生成源码可查看《抖音网页版_signature》
文中是调试逻辑、文末有生成源码。(订阅后下载源码搭建环境即可采集)
https://blog.csdn.net/weixin_43582101/article/details/118084709
专栏分享
爬虫逆向社区、论坛
https://bbs.csdn.net/forums/lx
800+订阅量的《爬虫案例合集》
以优质爬虫案例为主,解决疑难爬虫问题。 持续更新,值得订阅。
非常火热的《签名案例合集》
持续更新,输出优质文章,分享逆向思路和教程。