本书采用简洁强大的 Python 语言，介绍了网页抓取相关技术，并为抓取新式网络中的各种数
据类型提供了全面的指导。第一部分重点介绍网页抓取的基本原理 ：如何用 Python 从网络服务器
请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部
分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。
本书适合需要抓取 Web 数据的相关软件开发人员和研究人员阅读。
Author(s): 瑞安·米切尔； 神烦小宝
Series: 图灵程序设计丛书
Edition: 2
Publisher: 人民邮电出版社
Year: 2019
Language: Chinese
Pages: 266
City: 北京
封面
推荐阅读
数字版权声明
扉页
版权
版权声明
O’Reilly Media, Inc.介绍
目录
前言
第一部分 创建爬虫
第1章
第1章 初见网络爬虫
1.1 网络连接
1.2 BeautifulSoup简介
1.2.1 安装BeautifulSoup
1.2.2 运行BeautifulSoup
1.2.3 可靠的网络连接以及异常的处理
第2章 复杂HTML解析
2.1 不是一直都要用锤子
2.2 再端一碗BeautifulSoup
2.2.1 BeautifulSoup的find()和find_all()
2.2.2 其他BeautifulSoup对象
2.2.3 导航树
2.3 正则表达式
2.4 正则表达式和BeautifulSoup
2.5 获取属性
2.6 Lambda表达式
第3章 编写网络爬虫
3.1 遍历单个域名
3.2 抓取整个网站
收集整个网站的数据
3.3 在互联网上抓取
第4章 网络爬虫模型
4.1 规划和定义对象
4.2 处理不同的网站布局
4.3 结构化爬虫
4.3.1 通过搜索抓取网站
4.3.2 通过链接抓取网站
4.3.3 抓取多种类型的页面
4.4 关于网络爬虫模型的思考
第5章 Scrapy
5.1 安装Scrapy
蜘蛛初始化
5.2 创建一个简易爬虫
5.3 带规则的抓取
5.4 创建item
5.5 输出item
5.6 item管线组件
5.7 Scrapy日志管理
5.8 更多资源
第6章 存储数据
6.1 媒体文件
6.2 把数据存储到CSV
6.3 MySQL
6.3.1 安装MySQL
6.3.2 基本命令
6.3.3 与Python整合
6.3.4 数据库技术与最佳实践
6.3.5 MySQL里的“六度空间游戏”
6.4 Email
第二部分 高级网页抓取
第7章 读取文档
7.1 文档编码
7.2 纯文本
文本编码和全球互联网
7.3 CSV
读取CSV文件
7.4 PDF
7.5 微软Word和.docx
第8章 数据清洗
8.1 编写代码清洗数据
数据标准化
8.2 数据存储后再清洗
OpenRefine
第9章 自然语言处理
9.1 概括数据
9.2 马尔可夫模型
维基百科六度分隔：终结篇
9.3 自然语言工具包
9.3.1 安装与设置
9.3.2 用NLTK做统计分析
9.3.3 用NLTK做词性分析
9.4 其他资源
第10章 穿越网页表单与登录窗口进行抓取
10.1 Python Requests库
10.2 提交一个基本表单
10.3 单选按钮、复选框和其他输入
10.4 提交文件和图像
10.5 处理登录和cookie
HTTP基本接入认证
10.6 其他表单问题
第11章 抓取JavaScript
11.1 JavaScript简介
常用JavaScript库
11.2 Ajax和动态HTML
11.2.1 在Python中用Selenium执行JavaScript
11.2.2 Selenium的其他webdriver
11.3 处理重定向
11.4 关于JavaScript的最后提醒
第12章 利用API抓取数据
12.1 API概述
12.1.1 HTTP方法和API
12.1.2 更多关于API响应的介绍
12.2 解析JSON数据
12.3 无文档的API
12.3.1 查找无文档的API
12.3.2 记录未被记录的API
12.3.3 自动查找和记录API
12.4 API与其他数据源结合
12.5 再说一点API
第13章 图像识别与文字处理
13.1 OCR库概述
13.1.1 Pillow
13.1.2 Tesseract
13.1.3 NumPy
13.2 处理格式规范的文字
13.2.1 自动调整图像
13.2.2 从网站图片中抓取文字
13.3 读取验证码与训练Tesseract
训练Tesseract
13.4 获取验证码并提交答案
第14章 避开抓取陷阱
14.1 道德规范
14.2 让网络机器人看着像人类用户
14.2.1 修改请求头
14.2.2 用JavaScript处理cookie
14.2.3 时间就是一切
14.3 常见表单安全措施
14.3.1 隐含输入字段值
14.3.2 避免蜜罐
14.4 问题检查表
第15章 用爬虫测试网站
15.1 测试简介
什么是单元测试
15.2 Python单元测试
测试维基百科
15.3 Selenium单元测试
与网站进行交互
15.4 单元测试与Selenium单元测试的选择
第16章 并行网页抓取
16.1 进程与线程
16.2 多线程抓取
16.2.1 竞争条件与队列
16.2.2 threading模块
16.3 多进程抓取
16.3.1 多进程抓取
16.3.2 进程间通信
16.4 多进程抓取的另一种方法
第17章 远程抓取
17.1 为什么要用远程服务器
17.1.1 避免IP地址被封杀
17.1.2 移植性与扩展性
17.2 Tor代理服务器
PySocks
17.3 远程主机
17.3.1 从网站主机运行
17.3.2 从云主机运行
17.4 其他资源
第18章 网页抓取的法律与道德约束
18.1 商标、版权、专利
版权法
18.2 侵害动产
18.3 计算机欺诈与滥用法
18.4 robots.txt和服务协议
18.5 3个网络爬虫
18.5.1 eBay起诉Bidder’s Edge侵害其动产
18.5.2 美国政府起诉Auernheimer与《计算机欺诈与滥用法》
18.5.3 Field起诉Google：版权和robots.txt
18.6 勇往直前
关于作者
关于封面
关于作者
关于封面
图书推荐
连接图灵
看完了
