界首工程建设信息网站,新网和中企动力什么关系,怎么自己学做网站,怎么做好网络营销20230304 -
0. 引言
看到一些视频网站之后#xff0c;想把视频离线下载下来怎么办#xff1f;直接的方法是通过开发者工具来查看网络流量#xff0c;一般可以在传输的请求类型中搜索m3u8#xff0c;然后找到这部分请求#xff0c;然后利用某些播放器或者下载器直接下载。…20230304 -
0. 引言
看到一些视频网站之后想把视频离线下载下来怎么办直接的方法是通过开发者工具来查看网络流量一般可以在传输的请求类型中搜索m3u8然后找到这部分请求然后利用某些播放器或者下载器直接下载。
但是后来的时候发现很多网站都会检测是否打开了开发者工具如果打开了那么这个网站的加载过程就会被暂停然后提示有断点。
之前的时候会让忽略所有断点然后一直执行有时候也能把请求弄出来。但很多时候还是弄不出来这个就比较尴尬。所以搜索了这部分的相关内容。
1. 尝试方案
1.1 JS逃避
问答[1]中就给出了很多如何检测是否打开开发者工具的方案那么具体某个网站是使用了什么策略就得去网站的源码里面扒了。在问答[2]中给出的一种解决方案就是 直接注入console.log null;代码在源码最前面想了一下可能能行就直接在控制台执行了这个代码但是有些网站好使有些网站还是需要手动来跳过断点一直执行。但最起码是一种方案了。
1.2 HTTP抓包
不过仔细思考之后因为我并不是非得弄清楚这玩意到底咋回事或者他们内部的元素是什么样子我只是要把请求给抠出来那可以用到之前的老本行直接用HTTP抓包工具来处理。以前用PC的时候是用了Fiddler来进行调试但是发现经典版没有mac版本就使用了之前用过的替代工具charles具体下载安装方式这里不介绍网上也有破解版。
因为要捕获HTTPS流量来解析内容流量那么必须安装证书才行不过这里感觉跟PC的方式有些不同文章[3]介绍了具体的执行方案执行之后就可以抓到包了。最后搜索m3u8即可。
但是某些网站需要有软件辅助才能访问那么需要在charles设置外部代理这个我之前使用fiddler的时候遇到过原理和设置过程也比较简单看了文章[4]的方式就可以达到我想要的流量了。
2. 总结
虽然最后弄到了我想要的结果但是实际上还是没有从本质的反扒策略上搞清楚到底咋回事。就比如说我想看看他到底怎么检测的还是得从源码的角度来弄。不过我看了看这些视频网站最后断点位置的代码都比较相似估计都是使用了类似的库所以后续可以看看到底是哪个库然后弄明白他是利用了什么检测方式。
参考
[1]Find out whether Chrome console is open [2]Avoid the detection of “whether Chrome DevTools(console) is open” [3]mac下配置Charles安装证书连接iOS手机抓包 [4]charles如何配置external proxy
