Python爬虫中的urllib3库使用详解

B站影视 内地电影 2025-01-19 06:28 2

摘要:在之前的介绍中我们提到过request请求库,作为Python中常用的用来请求客户端的工具被很多开发者所喜爱,但是实际上Python中还有其他的HTTP客户端库来实现网络请求服务,例如urllib3,urllib3是Python中的又一个功能强大的HTTP客户

在之前的介绍中我们提到过request请求库,作为Python中常用的用来请求客户端的工具被很多开发者所喜爱,但是实际上Python中还有其他的HTTP客户端库来实现网络请求服务,例如urllib3,urllib3是Python中的又一个功能强大的HTTP客户端请求库,被用来在爬虫开发中使用,与标准库urllib相比urllib3库提供了更加丰富和灵活的功能,例如可以处理HTTP请求、连接池管理、重试机制、SSL验证等,下面我们就来详细的介绍一下urllib3库的基本用法及其在爬虫中的应用。

  首先,我们可以通过如下的命令来安装urllib3库,如下所示。

pip install urllib3

  安装好依赖库之后,接下来我们就可以利用urllib3库提供的API来发送HTTP请求,如下所示,我们可以通过urllib3.PoolManager类来管理连接池,然后来发起HTTP请求。

import urllib3# 创建一个连接池管理器http = urllib3.PoolManager# 发起GET请求response = http.request('GET', 'HTTPS://httpbin.org/get')# 打印响应内容print(response.status) # 响应的状态码print(response.data.decode('utf-8')) # 响应的内容,需解码

  在上面的代码中,我们通过http.request('GET', url)来发起了一个GET请求,然后获取了一下response对象包含的HTTP响应的各项信息,如状态码、响应内容等。接下来我们来看看如何通过urllib3发送一个POST请求

POST请求

  与GET请求类似,只不过POST请求需要特殊封装一下请求体和请求头,如下所示。

import urllib3import json# 创建一个连接池管理器http = urllib3.PoolManager# 请求头headers = {'Content-Type': 'application/json'}# 请求体数据data = {'name': 'John Doe','age': 30}# 发起POST请求response = http.request('POST', 'https://httpbin.org/post', body=json.dumps(data), headers=headers)# 打印响应内容print(response.status)print(response.data.decode('utf-8'))

  在POST请求中,会看到我们对请求头和请求体都进行了封装。

发送带参数的请求

  对于参数携带这块,GET请求可以直接通过URL进行传递,或者是我们可以通过urllib.parse模块来构造带有查询参数的URL路径,如下所示,在代码中通过urlencode方法来进行字典转换,将字典转换成参数字符串进行请求。

import urllib3from urllib.parse import urlencodehttp = urllib3.PoolManager# 构造查询参数params = {'page': 1, 'size': 10}url = 'https://httpbin.org/get?' + urlencode(params)# 发起请求response = http.request('GET', url)print(response.status)print(response.data.decode('utf-8'))

  根据上面的例子,我们可以看到在urllib3的响应对象中提供了多种的属性以及方法来获取响应的详细信息,比较常见,或者是比较常用的属性有如下几个。

response.status: HTTP响应状态码。response.data: 响应的原始数据,是一个字节串。response.headers: 响应头,以字典形式返回。response.reason: 响应的描述性信息(如“OK”)。

  当然,除了这些基础响应之外,我们还需要了解一下对于响应数据的处理,一般情况下我们获取到的数据都是JSON格式的数据,所以我们可以将这个JSON格式的数据直接加载成为Python的对象来处理,如下所示。

import json# 解析JSON响应response_json = json.loads(response.data.decode('utf-8'))print(response_json)

  当然,JSON数据之外,我们还可能会直接接收到HTML的数据,所以我们也可以通过HTML解析类库来对数据进行解析存储利用。

  在之前介绍request库的时候,我们提到过,爬虫操作过程中,我们可能会遇到网络波动、服务器不可用等情况,在urllib3中内置了一个强大的重试机制,我们可以通过Retry类来实现请求重试策略,如下所示。

import urllib3from urllib3.util.retry import Retryfrom urllib3.poolmanager import PoolManager# 设置重试机制retry = Retry(total=3, # 重试次数backoff_factor=0.3, # 重试间隔的倍数status_forcelist=[500, 502, 503, 504], # 对这些状态码进行重试)# 创建连接池管理器http = urllib3.PoolManager(retries=retry)# 发起请求response = http.request('GET', 'https://httpbin.org/status/500')print(response.status)

  我们看到在这个例子中,当遇到5XX的错误的时候,表示服务器内部出现了错误,这个时候我们可以对请求进行重试,最多进行3次的重试,并且每次重试的时间间隔会递增,这里我们可以通过backoff_factor参数来进行控制,如上面的代码中所示。

  那么在重试完之后,还是没有能解决的话,这个时候,就需要通过urllib3.exceptions模块中的异常来处理请求中的错误,如下所示。

from urllib3.exceptions import HTTPError, MaxRetryError, TimeoutErrortry:response = http.request('GET', 'https://httpbin.org/status/500')except MaxRetryError as e:print(f"最大重试次数达到: {e}")except TimeoutError as e:print(f"请求超时: {e}")except HTTPError as e:print(f"HTTP错误: {e}")SSL验证

  一般情况下,当遇到HTTPS请求的时候,需要用到SSL证书,在默认情况下urllib3会验证证书,如果需要禁用SSL验证机制或者是通过自定义证书进行验证的话,我们可以对其进行对应的配置。如下所示,展示了如何禁用SSL验证。

http = urllib3.PoolManager(cert_reqs='CERT_NONE', # 禁用SSL证书验证assert_hostname=False # 不检查主机名)response = http.request('GET', 'https://expired.badssl.com/')print(response.status)

  或者是我们有自定义的证书的话可以通过如下的方式来进行加载。

http = urllib3.PoolManager(cert_file='/path/to/cert.pem',key_file='/path/to/key.pem')response = http.request('GET', 'https://secure.example.com/')print(response.status)连接池与性能优化

  池化技术,作为一个可以实现连接重用的机制,在urllib3中通过PoolManager类来提供连接池管理功能。通过连接池技术来避免每次请求都重新创建连接,从而提高的程序执行的性能,如下所示,我们可以通过如下的配置,来设置连接池的大小。

http = urllib3.PoolManager(num_pools=10, # 最大连接池数量maxsize=10, # 每个池最大连接数block=True # 如果连接池满了,则阻塞等待)response = http.request('GET', 'https://httpbin.org/get')print(response.status)

  urllib3是一个功能强大的HTTP客户端库,它不仅能发起HTTP请求,还提供了连接池管理、重试机制、SSL验证等多种高级功能,特别适合在爬虫开发中使用。在实际应用中,可以将urllib3与其他爬虫库(如requests)结合使用,这样可以进一步简化和优化爬虫的开发流程,提升爬虫操作性能。

来源:从程序员到架构师

相关推荐