Python豆瓣爬虫详解

有没有过周末为看什么电影焦虑，今天手把手教学爬取豆瓣电影评分！

0，当我们打开一个网站的时候这个时候网站给到我们一个cookies，这个cokkies可能是多个参数或一个参数，然后我们再浏览其他的页面的时候网站会校验cookies等信息确认是不是还是一个同一个用户再访问。那么再说模拟登录的时候我们获取到验证码怎么让他再登录的时候也认为是我们就是拿验证码的人呢，就用到会话保持，但是又一些公司为了方式爬虫会禁止sess传递cookies。那么怎么搞了。这里留个彩蛋大家自己研究研究之后有了好案例我再更。

1，话不多说开始今天爬虫之旅 2，先来分析一下网站结构

2.1，通过检查可见在首页接口中我们看不到热门电影，盲猜数据是通过json传输的，进到更多里面直接找到他的一个目录页

2.2，到目录页选择按热度排序，可见数据接口，，然后翻个页看看翻页接口变化

翻页之后可见start参数发生变化，那就是了。读过之前文章的朋友应该想到下一步干啥了

3.0，直接对接口发起请求看一下json数据取值，

headers = {
    "Accept": "application/json, text/plain, */*",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cache-Control": "no-cache",
    "Connection": "keep-alive",
    "Origin": "https://movie.douban.com",
    "Pragma": "no-cache",
    "Referer": "https://movie.douban.com/explore",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-site",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36",
    "sec-ch-ua": "" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": ""Windows""
}
cookies = {
    "ll": ""108288"",
    "bid": "5JjiG1qD2ik",
    "ap_v": "0,6.0"
}
url = "https://m.douban.com/rexxar/api/v2/movie/recommend"
params = {
    "refresh": "0",
    "start": "40",
    "count": "20",
    "selected_categories": "{}",
    "uncollect": "false",
    "sort": "T",
    "tags": ""
}
response = requests.get(url, headers=headers, cookies=cookies, params=params).json()['items']
for res in response:
    title = res['title']
    print(title)

ok，这要去什么信息就自行处理把，下课。

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

1??零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

2??国内外Python书籍、文档

① 文档和书籍资料

3??Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

4??Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

5??Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。

上述所有资料 ?? ，朋友们如果有需要的，可以扫描下方👇👇👇二维码免费领取🆓