爬虫工作量由小到大的思维转变---<第三章 搞多大的盘>

2023-12-15 16:33:49

前言:

刚拿到一个留言,挺有意思的。有位小伙伴问:“我家里有台高配台式机还有两个笔记本,都连着同一个Wi-Fi,我能搞个多大程度的爬虫项目?” 所以呢,咱们得先整出个框架来---也就是列个单子,看看要干什么,怎么干?

正文:

先说说基础的设定吧:

- 台式机,咱们的大脑中枢:分发爬取任务,接着要处理数据,把成果存到SQL里,还得更新Redis的完成状态,顺便管理那些IP代理池。
- 笔记本电脑1 & 2,咱们的勤劳双手:提取任务,开始爬,初步搞定数据然后塞进Redis,过程中别忘了从IP池里换代理,得一把手速。

+----------------+------------------------+--------------------------------------+
| 设备           | 主要职责               | 具体任务                            |
+----------------+------------------------+--------------------------------------+
| 台式机         | 任务调度与数据处理     | 1. 派发爬取任务给两台笔记本          |
|                |                        | 2. 数据解析和逻辑处理                |
|                |                        | 3. 数据存储到SQL数据库               |
|                |                        | 4. 记录任务完成状态到Redis           |
|                |                        | 5. 抓取IP并更新到Redis IP代理池      |
+----------------+------------------------+--------------------------------------+
| 笔记本电脑1    | 网页爬取与初步解析       | 1. 提取任务和网页抓取                |
|                |                        | 2. 初步解析, 结果存为dict到Redis中   |
|                |                        | 3. 从IP代理池抓取和管理IP地址        |
+----------------+------------------------+--------------------------------------+
| 笔记本电脑2    | 网页爬取与初步解析       | 1. 提取任务和网页抓取                |
|                |                        | 2. 初步解析, 结果存为dict到Redis中   |
|                |                        | 3. 从IP代理池抓取和管理IP地址        |
+----------------+------------------------+--------------------------------------+
现有情况下,我们可以这么优化:
台式机,就是你的主控台:
  1. - 分发器(你的任务下发助手)
  2. - 数据处理器(你的情报分析师)
  3. - 数据库写入器(你的秘书,负责记录)
  4. - IP抓取器(你的间谍,找IP信息)
笔记本们,你的现场小分队:
  1. - 爬取器(你的前线探子)
  2. - 解析器(你的码农,帮助解析数据)
  3. - 代理管理器(你的通讯兵,处理IP代理问题)
至于那中间件,就是你的后勤团队:
  1. - 消息队列(任务的接力棒)
  2. - 分布式存储(Redis,你的临时仓库)
  3. - SQL数据库(你的长期仓库)
然后,工作流程就像这样:
?
用户 ---> 控制节点(台式机)
                           | --> 分发器 ---(任务队列)---> 爬取器(笔记本1和2)
                           |                                   | ----> 网页
                           |                                   | <---- 初步解析结果
                           | <-- 数据处理器 <---(结果队列)--- 解析器(笔记本1和2)
                           | <-- 数据库写入器 ---> SQL数据库
                           | <-- IP抓取器 ---> 代理IP池(Redis)
代理数据源 ---> IP抓取器

?

你发号施令,任务下发到任务队列,小分队监听到任务就开始行动,行动完毕,再回传数据。你就坐在那儿,等成果上门,处理之后存档,同时记得更新IP代理池。

再来,如果你要是觉得还没玩够,就再加点料:
用户 ---> 控制节点(台式机)
                           | --> 分发器 ---(任务队列)---> 爬取器(笔记本1和2) -- 日志系统 <-- 系统各部分
                           |                                   | ----> 网页
                           |                                   | <---- 初步解析结果 ---- 日志系统 <-- 系统各部分
                           | <-- 数据处理器 <---(结果队列)--- 解析器(笔记本1和2) -- 日志系统 <-- 系统各部分
                           | <-- 数据库写入器 ---> SQL数据库  -- 日志系统 <-- 系统各部分
                           | <-- IP抓取器 ---> 代理IP池(Redis) -- 日志系统 <-- 系统各部分 
                           |                      |               监控系统 <-- 系统各部分
                           |                      |--(错误队列)--> 错误处理器       
代理数据源 ---> IP抓取器     -- 日志系统 <-- 系统各部分

- 日志系统,你的情报收集器,记录所有行动日志。
- 错误处理系统,你的问题处理顾问,出了岔子也不怕。
- 监控系统,就是你的眼睛,24/7不打烊,实时监控所有动态。
各位新来的组件,简单说就是:
- 日志系统:就是你的情报库,啥都能留下来。
- 错误处理:出了问题,这边帮你分类,标记,处理,重试,总之就是保证任务能顺利完成。
- 监视系统:就是你的仪表盘,跟你说你的爬虫身体好不好,需要不需要加油。

总结:

就这么简单。咱们有了这些,想要爬得多快都没问题。所以,赶紧动手吧,期待你们的好消息!

文章来源:https://blog.csdn.net/m0_56758840/article/details/134938260
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。