ja*vhd爬虫脚本

账户设置
请在打开文件 在第二行设置 账户的cert
也就是你注册javhd后收到的Welcome to JAVHD邮件里面的Login URL中的credentials后面一段字符串
如:secure.javhd.com/login/?credentials=[这里是字符串]&lang=en
视频的清晰度设置
第三行为要爬取视频的清晰度

以下是我测试结果:
完全新安装的CentOS6 最小化系统
编译python3 : http://db.ci/linux/centos/4122.html
一般编译安装好python3 就安装好了pip3 直接使用即可
需要requests库
pip3 install requests
使用效果(我爬取了差不多2小时)

非代理版

代理版代理版spider

修改了内容如下:
1.因为测试中会出现cookie失效,所以添加了验证是否失效然后重新获取cookie。
注意:
因为获取http代理站不太稳定,随时可能会出现 no proxy!
关于上面这个站,是我搭建的代理池,使用了github大佬的代码,我自己也写了一个不过发现我功力还是不够啊,所以直接用了大佬的程序
开源地址:https://github.com/jhao104/proxy_pool

点赞