爬虫 resquests模块与get请求和post请求

2024-01-10 15:09:50
1.requests模块的使用

实现抓取百度首页数据包的响应数据。

根据头部常规信息可得知,百度首页数据包的请求url为https://www.baidu.com/,请求方式为get

抓取百度首页数据包响应

import requests ?# 导入模块

url = "https://www.baidu.com/" ?# 明确目标url
# ?因为是get请求方式,所以是requests.get(),如果是post请求,那就是requests.post()
# ?以下两种方式都是可以的,在源码中get方法第一位形参就是url,所以不用键值对传参也可以

# response = requests.get(url)
response = requests.get(url=url) ?# 此时response是一个响应对象
print(response) ?# 打印结果为 <Response [200]>, 200是状态码,说明成功响应的意思

response的常用属性:

    • 查看响应内容,response.text 字符串数据
    • 查看响应内容,response.content返回的字节流数据 二进制数据
    • 查看完整url地址 response.url
    • 查看响应头部字符编码 response.encoding
    • 查看响应码 response.status_code
    • 查看响应头 response.headers
    • 查看请求头 response.request.headers

????????如果直接使用response.text获取响应数据,那么结果会乱码,需要先指定响应的编码格式为UTF-8(utf-8、utf8)即可。

????????还可以使用第二种方式,response.content获取进制格式后.decode()解码,.decode()方法默认以UTF-8编码方式解码,该方法接收一个参数,如果是gbk编码,就可以写成.decode('gkb')

????????两种方法都可以实现相同效果,各位自选一种方式使用即可,这就是直接对百度发起请求获取到的响应数据。

2.携带请求参数的get请求
第一种方式(直接拼接在url后面):????????

携带请求参数(一)

import requests ?# 导入模块

url = "https://www.baidu.com/sugrec?prod=pc&wd=美女" ?# 明确目标url

# 构造请求头
headers = {
? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers)
print(response.content.decode())

第二种方式(通过params参数传参):

携带请求参数(二)

import requests ?# 导入模块

url = "https://www.baidu.com/sugrec" ?# 明确目标url
# 构造请求参数
params = {
? ? 'prod': 'pc',
? ? 'wd': '美女'
}
# 构造请求头
headers = {
? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers, params=params)
print(response.content.decode())

3.携带请求参数的post请求

????????这是一个post请求,可以看到post请求的参数并未在请求url之后以明文的形式拼接,这便是post请求与get请求的一点区别,所以post没有像get请求第一种拼接在url之后的方法请求,只能使用参数传递的形式携带请求参数,话不多说,直接上代码。

post携带参数请求

import requests ?# 导入模块

url = "http://www.xinfadi.com.cn/getPriceData.html" ?# 明确目标url
# 构造请求参数
data = {
? ? 'limit': '20',
? ? 'current': '4'
}
# 构造请求头
headers = {
? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers, data=data) ?# headers参数必须以键值对形式传递
print(response.content.decode())

与get请求有区别的是get请求使用params参数,而post请求使用data参数。

文章来源:https://blog.csdn.net/sjf082513/article/details/135491762
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。