零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）

零基础学Python网络爬虫案例实战 全流程详解 入门与提高篇
零基础学Python网络爬虫案例实战 全流程详解 高级进阶篇

内容简介

在大数据时代的今天，无论是产品开始还是精准化营销越来越离不开大数据的支持，如何从浩瀚的网络中获取自己想要的大数据？这就需要网络爬虫，而是世界上80%的爬虫都是基于Python开发出来的，所以python爬虫技术是大数据挖掘、分析与可视化的基础。
本书面向零基础读者，从如何合法使用爬虫和Python编辑环境的安装开始到不同类型爬虫程序的开发都进行了详尽的讲解，从Python基础语法到Requests库、正则表达式、Scrapy框架、Beautiful Soup一个都不少。同时在相关地方也讲解了部分数据挖掘和数据分析的基础内容。

目录

前言
本书学习资源
第1章　Python基础
1.1　Python快速上手 13
1.1.1　安装Python 13
1.1.2　编写个Python程序 15
1.1.3　PyCharm的安装与使用 16
1.1.4　Jupyter Notebook的使用 27
1.2　Python语法基础知识 34
1.2.1　变量、行、缩进与注释 34
1.2.2　数据类型：数字与字符串 36
1.2.3　数据类型：列表与字典、元组与集合 38
1.2.4　运算符 44
1.3　Python语句 46
1.3.1　if条件语句 46
1.3.2　for循环语句 47
1.3.3　while循环语句 49
1.3.4　try/except异常处理语句 50
1.4　函数与库 50
1.4.1　函数的定义与调用 51
1.4.2　函数的返回值与变量的作用域 52
1.4.3　常用内置函数介绍 54
1.4.4　库的导入与安装 57
★ 课后习题 61
第2章　爬虫步：获取网页源代码
2.1　爬虫核心库1：Requests库 62
2.1.1　如何查看网页源代码 62
2.1.2　用Requests库获取网页源代码：百度新闻 66
2.1.3　Requests库的“软肋” 70
2.2　爬虫核心库2：Selenium库 71
2.2.1　模拟浏览器及Selenium库的安装 71
2.2.2　用Selenium库获取网页源代码： 财经股票信息 74
2.3　网页结构分析 76
2.3.1　网页结构基础 76
2.3.2　网页结构进阶 76
★ 课后习题 82
第3章　爬虫第二步：数据解析与提取
3.1　用正则表达式解析和提取数据 83
3.1.1　正则表达式基础1：findall()函数 83
3.1.2　正则表达式基础2：非贪婪匹配之“(.*?)” 85
3.1.3　正则表达式基础3：非贪婪匹配之“.*?” 88
3.1.4　正则表达式基础4：自动考虑换行的修饰符re.S 90
3.1.5　正则表达式基础5：知识点补充 91
3.1.6　案例实战：提取百度新闻的标题、网址、日期和来源 93
3.2　用BeautifulSoup库解析和提取数据 98
3.2.1　解析特定标签的网页元素 98
3.2.2　解析特定属性的网页元素 100
3.2.3　提取标签中的网址 101
3.2.4　案例实战： 新闻标题和网址爬取 102
3.3　百度新闻爬取进阶探索 107
3.3.1　批量爬取多家公司的新闻 107
3.3.2　将爬取结果保存为文本文件 108
3.3.3　异常处理及24小时不间断爬取 111
3.3.4　批量爬取多页内容 113
3.4　证券日报网爬取实战 116
3.4.1　用正则表达式爬取 116
3.4.2　用BeautifulSoup库爬取 120
3.5　中证网爬取实战 121
3.6　 爬取实战 125
3.7　上海证券交易所上市公司PDF文件下载 128
3.7.1　用Requests库下载文件的基本方法 128
3.7.2　初步尝试下载上海证券交易所上市公司PDF文件 130
3.8　豆瓣电影Top 250排行榜海报图片下载 131
3.8.1　爬取单页 131
3.8.2　爬取多页 134
★ 课后习题 136
第4章　爬虫神器Selenium库深度讲解
4.1　Selenium库进阶知识 137
4.2　 财经股票行情数据爬取 142
4.2.1　用Selenium库爬取股票行情数据 142
4.2.2　用 财经API爬取股票行情数据 144
4.3　东方财富网数据爬取 149
4.3.1　上市公司股吧帖子爬取 149
4.3.2　上市公司新闻爬取 150
4.3.3　上市公司研报PDF文件下载 154
4.4　上海证券交易所问询函信息爬取及PDF文件下载 160
4.4.1　批量下载单个页面上的PDF文件 161
4.4.2　批量下载多个页面上的PDF文件 163
4.4.3　汇总问询函信息并导出为Excel工作簿 166
4.5　银行间拆借利率爬取 167
4.6　雪球股票 信息爬取 173
4.7　商品评价信息爬取 175
4.7.1　用Selenium库爬取 175
4.7.2　用Requests库爬取 179
4.8　淘宝天猫商品销量数据爬取 183
4.9　Selenium库趣味案例：网页自动投票 186
★ 课后习题 188
第5章　数据处理与可视化
5.1　数据清洗与优化技巧 189
5.1.1　常用的数据清洗手段及日期格式的统一 189
5.1.2　文本内容过滤—剔除噪声数据 190
5.1.3　数据乱码问题处理 195
5.1.4　数据爬后处理之舆情评分 198
5.2　数据可视化分析—词云图绘制 200
5.2.1　用jieba库实现中文分词 200
5.2.2　用wordcloud库绘制词云图 204
5.2.3　案例实战： 词云图绘制 208
★ 课后习题 211
第6章　数据结构化与数据存储
6.1　数据结构化神器—pandas库 212
6.1.1　用read_html()函数快速爬取网页表格数据 212
6.1.2　pandas库在爬虫领域的核心代码知识 214
6.2　 财经—资产负债表获取 225
6.3　百度新闻—文本数据结构化 229
6.3.1　将单家公司的新闻导出为Excel工作簿 229
6.3.2　将多家公司的新闻导出为Excel工作簿 230
6.4　百度爱企查—股权穿透研究 231
6.4.1　单层股权结构爬取 232
6.4.2　多层股权结构爬取 235
6.5　天天基金网—股票型基金信息爬取 237
6.5.1　爬取基金信息表格 238
6.5.2　爬取基金的详情页面网址 239
6.6　集思录—可转债信息
6.6集思录——可转债信息爬取
6.7东方财富网——券商研报信息爬取
6.7.1爬取券商研报信息表格
6.7.2爬取研报的详情页面网址
6.8数据存储——MySQL快速入门
6.8.1MySQL的安装
6.8.2MySQL的基本操作
6.9用Python操控数据库
6.9.1用PyMySQL库操控数据库
6.9.2案例实战：百度新闻数据爬取与存储
6.9.3用pandas库操控数据库
课后习题
第7章Python多线程和多进程爬虫
7.1理解线程与进程
7.1.1计算机硬件结构基础知识
7.1.2线程与进程
7.1.3单线程、多线程与多进程
7.1.4爬虫任务中的多线程与多进程
7.2Python多线程爬虫编程实战
7.2.1Python多线程编程基础知识
7.2.2Python多线程编程进阶知识
7.2.3案例实战：多线程爬取百度新闻
7.3Python多进程爬虫编程实战
7.3.1Python多进程编程基础知识
7.3.2Python多进程编程进阶知识
7.3.3案例实战：多进程爬取百度新闻
课后习题
第8章IP代理使用技巧与实战
8.1结合Requests库使用IP代理
8.1.1IP代理基础知识
8.1.2IP代理的使用
8.2IP代理实战1：用Requests库爬取公众号文章
8.2.1直接用Requests库爬取
8.2.2添加IP代理进行爬取
8.2.3添加智能IP切换系统
8.3结合Selenium库使用IP代理
8.4IP代理实战2：用Selenium库爬取公众号文章
8.4.1直接用Selenium库爬取
8.4.2添加IP代理进行爬取
8.4.3添加智能IP切换系统
课后习题
后记

前言

笔者编写的《Python金融大数据挖掘与分析全流程详解》于2019年出版面市后，陆续有不少读者表示对该书的爬虫部分非常感兴趣，想做进一步的学习。笔者由此萌生了一个想法：专门针对Python爬虫技术编写一套书籍，在保留之前核心内容的基础上，新增更多实战案例，方便读者在练中学，并体会Python爬虫在实战中的应用。
书稿编写完成后，为了更好地满足不同水平读者的需求，方便他们根据自身情况更灵活地学习，笔者决定将书稿分为两册出版：册为《零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）》，主要针对编程零基础的读者；第二册为《零基础学Python网络爬虫案例实战全流程详解（高级进阶篇）》，主要针对有一定Python爬虫编程基础并且需要进阶提高的读者。
本书为《零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）》，分8章讲解了Python爬虫的基础知识和技能，帮助零基础的读者快速入门并熟练使用爬虫。

第1章从Python开发环境的安装与配置讲起，循序渐进地过渡到Python的基础语法知识，包括变量、数据类型、语句、函数与库等，让新手读者能够自己输入简单的代码并使其运行起来。任何爬虫任务的起点都是获取网页源代码。

第2章讲解了Python爬虫中用于获取网页源代码的两个核心库—Requests库和Selenium库，并简单介绍了网页结构和HTML标签的知识，为第3章学习数据的解析与提取做好铺垫。获取网页源代码后，接着需要从中解析与提取数据。

第3章讲解了Python爬虫中解析与提取数据的两种核心方法—正则表达式和BeautifulSoup库，并通过丰富的案例进行实战演练，包括百度新闻、证券日报网、中证网、 的数据爬取，以及上海证券交易所PDF文件和豆瓣电影海报图片的下载等。
讲解完Python爬虫的基础知识和基本技能，第4章进一步深入讲解爬虫神器Selenium库，并通过案例讲解了商业实战中常用的大量进阶爬虫技术，案例包括 财经股票行情数据爬取、东方财富网（股吧、新闻、研报）相关数据爬取、上海证券交易所问询函信息爬取及PDF文件下载、银行间拆借利率爬取、雪球股票 信息爬取、商品评价信息爬取、淘宝天猫商品销量数据爬取、网页自动投票等。

第5章讲解爬虫数据的处理与可视化，包括数据清洗、文本内容过滤、乱码问题处理、舆情评分、中文分词、词云图绘制等，让读者可以对获取的数据进行深入的整理与挖掘。

第6章讲解爬虫数据结构化与数据存储。首先介绍了爬虫数据结构化神器pandas库，并通过多个案例进行实战演练，包括 财经资产负债表获取、百度新闻文本数据结构化、百度爱企查股权穿透研究、天天基金网股票型基金信息爬取、集思录可转债信息爬取、东方财富网券商研报信息爬取等。然后介绍了用于存储和管理数据的MySQL数据库，以及如何通过Python在MySQL数据库中读写数据。

第7章讲解如何运用多线程和多进程技术提高爬虫效率，重点分析了线程和进程的概念、多线程和多进程的逻辑，并通过百度新闻的多线程和多进程爬取进行实战演练。
在爬虫任务中 让人烦恼的就是遇到网站的反爬机制，因此，第8章讲解了应对反爬机制的常用手段—IP代理的原理和使用方法，并以爬取 公众号文章为例对IP代理进行了实战演练。

本书对于编程零基础的读者来说非常友好，从Python基础到爬虫原理再到实战应用，循序渐进地帮助读者打好基础。对于有一定Python爬虫基础的读者，本书也针对实战中常见的疑点和难点提供了解决技巧。

读者如果想进一步学习反爬机制应对、手机App内容爬取、爬虫框架、爬虫云服务器部署等技术，可以阅读《零基础学Python网络爬虫案例实战全流程详解（高级进阶篇）》。
由于笔者水平有限，书中难免有不足之处，恳请广大读者批评指正。读者除了可扫描封底上的二维码关注公众号获取资讯以外，也可通过“本书学习资源”中列出的方法与我们交流。