1.2.3 Python爬虫框架

前面介绍的HTTP请求库和网页解析技术都是一步步手写爬虫时使用的，Python中还有很多帮助实现爬虫项目的半成品——爬虫框架。爬虫框架允许根据具体项目的情况，调用框架的接口，编写少量的代码实现一个爬虫。爬虫框架实现了爬虫要实现的常用功能，能够节省编程人员开发爬虫的时间，帮助编程人员高效地开发爬虫。

在Python中，爬虫框架很多，常见的Python爬虫框架主要有Scrapy框架、Pyspider框架、Cola框架等。

Scrapy框架是Python中最著名、最受欢迎的爬虫框架。它是一个相对成熟的框架，有着丰富的文档和开放的社区交流空间。Scrapy框架是为了爬取网站数据、提取结构性数据而编写的，可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。Scrapy框架是本书后半部分重点讲解的技术框架，利用它可以高效地爬取Web页面并提取有价值的结构化数据。

Pyspider框架是国人编写的、用Python实现的、功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写、功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。读者如果有兴趣，可以查看它的相关文档。

Cola框架是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节，任务会被自动分配到多台机器上，整个过程对用户是透明的。

Python还有很多其他的爬虫框架，它们各有特点，读者可以上网查阅相关材料。本书将深入讲解Scrapy框架的使用。