开源IP代理池
继上一篇开源项目IPProxys的使用之后,大家在github,我的公众号和博客上提出了很多建议。经过两周时间的努力,基本完成了开源IP代理池IPProxyPool的重构任务,业余时间基本上都花在上面了。
IPProxyPool相对于之前的版本完成了哪些提升呢?主要包括一下几个方面:
使用多进程+协程的方式,将爬取和验证的效率提高了50倍以上,可以在几分钟之内获取所有的有效IP
使用web.py作为API服务器,重构HTTP接口
增加Mysql,MongoDB等数据库的适配
支持python3
增加了三个代理网站
增加评分机制,评比稳定的ip
大家如果感兴趣,可以到github上clone IPProxyPool源码,已经503 star了。
网友评论