引言
最近项目有需求从一个老的站点抓取信息然后倒入到新的系统中。由于老的系统已经没有人维护，数据又比较分散，而要提取的数据在网页上表现的反而更统一，所以计划通过网络请求然后分析页面的方式来提取数据。而两年前的这个时候，我似乎做过相同的事情——缘分这件事情，真是有趣。
设想
在采集信息这件事情中，最麻烦的往往是不同的页面的分解、数据的提取——因为页面的设计和结构往往千差万别。同时，对于有些页面，通常不得不绕着弯子请求（ajax、iframe等），这导致数据提取成了最耗时也最痛苦的过程——因为你需要编写大量的逻辑代码将整个流程串联起来。我隐隐记得15年的7月，也就是两年前的这个时候，我就思考过这个问题。当时引入了一个类型CommonExtractor来解决这个问题。总体的定义是这样的：
public class CommonExtractor
{ public CommonExtractor(PageProcessConfig config) {
PageProcessConfig = config;
} protected PageProcessConfig PageProcessConfig; public virtual void Extract(CrawledHtmlDocument document) { if (!PageProcessConfig.IncludedUrlPattern.Any(i => Regex.IsMatch(document.FromUrl.ToString(), i))) return;
