开源IP代理池

继上一篇开源项目IPProxys的使用之后,大家在github,我的公众号和博客上提出了很多建议。经过两周时间的努力,基本完成了开源IP代理池IPProxyPool的重构任务,业余时间基本上都花在上面了。

IPProxyPool相对于之前的版本完成了哪些提升呢?主要包括一下几个方面:

  1. 使用多进程+协程的方式,将爬取和验证的效率提高了50倍以上,可以在几分钟之内获取所有的有效IP

  2. 使用web.py作为API服务器,重构HTTP接口

  3. 增加Mysql,MongoDB等数据库的适配

  4. 支持python3

  5. 增加了三个代理网站

  6. 增加评分机制,评比稳定的ip

大家如果感兴趣,可以到github上clone IPProxyPool源码,已经503 star了。

网友评论