最近工作主要是一些爬虫相关的东西，由于公司需要构建自己的爬虫框架，在调研过程中参考了许多优秀的开源作品，包括webmagic，webcollector,Spiderman等，通过学习这些优秀的源码获益良多。
webmagic是一个简单灵活的爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。(官网地址：http://webmagic.io/)
本篇是webmagic源码阅读第一篇，主要探讨webmagic的核心机制，即一个BFS的爬虫是如何构建出来的。
webmagic分为以下四大组件，Downloader(页面下载器),Scheduler(下载调度器),PageProcessor(页面解析器),Pipeline(管道组件，通常做将抓取结果入库写文件等操作)
（图片来自官网）
以上四个组件由Spider组件组装起来，爬取数据时协同工作。我们先研究webmagic的核心类Spider。
在Spider中的run()方法中可以清晰的看到典型的BFS代码，通过一个循环不断地从scheduler中的内存队列中取一个抓取任务(Request)并进行相应处理(processRequest)，如果抓取成功则回调监听器中的onSuccess()方法，失败则调用onError()方法,最后将已抓取页面的数量自增。如果队列中没有任何抓取任务了，爬虫会在这里停一会防止有新的任务
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式