这几天在微信群里又聊到.NET可以救中国但是案例太少不深的问题，我说.NET玩爬虫简直就是宇宙第一，于是大神朱永光说，你为何不来写一篇总结一下？
那么今天就全面的来总结一下，在.NET生态下，如何玩爬虫
关于爬虫
从搜索引擎开始，爬虫应该就出现了，爬的对象当然也就是网页URL，在很长一段时间内，爬虫所做的事情就是分析URL、下载WebServer返回的HTML、分析HTML内容、构建HTTP请求的模拟、在爬虫过程中存储有用的信息等等，而伴随着App的发展以及CS系统通讯方式的HTTP化，对服务接口特别是HTTP RESTFul
