Web自动化
这里所说的Web自动化是所有跟页面相关的自动化，比如页面爬取，数据抓取，页面内容检测，页面功能测试，页面加载性能测试，页面回归测试等等，当前主要由如下几种解决方式：
文本数据获取
这就是各种request库或者类似curl这样的工具做的事情，拿到的是页面的文本，然后进行XML文档解析，获得相应的内容。但如果页面有一些动态执行的内容，比如JavaScript生成跳转URL，这样就搞不定了，需要有JS引擎的工具来搞，比如再配合JS引擎自行实现的工具，或者直接使用浏览器内核来搞的工具。
按照浏览器的方式来执行
这就是各种使用浏览器内核来实现的工具，比如基于Webkit的
延伸阅读
学习是年轻人改变自己的最好方式