摘要：在之前的介绍中我们提到过request请求库，作为Python中常用的用来请求客户端的工具被很多开发者所喜爱，但是实际上Python中还有其他的HTTP客户端库来实现网络请求服务，例如urllib3，urllib3是Python中的又一个功能强大的HTTP客户
在之前的介绍中我们提到过request请求库，作为Python中常用的用来请求客户端的工具被很多开发者所喜爱，但是实际上Python中还有其他的HTTP客户端库来实现网络请求服务，例如urllib3，urllib3是Python中的又一个功能强大的HTTP客户端请求库，被用来在爬虫开发中使用，与标准库urllib相比urllib3库提供了更加丰富和灵活的功能，例如可以处理HTTP请求、连接池管理、重试机制、SSL验证等，下面我们就来详细的介绍一下urllib3库的基本用法及其在爬虫中的应用。
首先，我们可以通过如下的命令来安装urllib3库，如下所示。
pip install urllib3安装好依赖库之后，接下来我们就可以利用urllib3库提供的API来发送HTTP请求，如下所示，我们可以通过urllib3.PoolManager类来管理连接池，然后来发起HTTP请求。
import urllib3# 创建一个连接池管理器http = urllib3.PoolManager# 发起GET请求response = http.request('GET', 'HTTPS://httpbin.org/get')# 打印响应内容print(response.status) # 响应的状态码print(response.data.decode('utf-8')) # 响应的内容，需解码在上面的代码中，我们通过http.request('GET', url)来发起了一个GET请求，然后获取了一下response对象包含的HTTP响应的各项信息，如状态码、响应内容等。接下来我们来看看如何通过urllib3发送一个POST请求
POST请求
与GET请求类似，只不过POST请求需要特殊封装一下请求体和请求头，如下所示。
import urllib3import json# 创建一个连接池管理器http = urllib3.PoolManager# 请求头headers = {'Content-Type': 'application/json'}# 请求体数据data = {'name': 'John Doe','age': 30}# 发起POST请求response = http.request('POST', 'https://httpbin.org/post', body=json.dumps(data), headers=headers)# 打印响应内容print(response.status)print(response.data.decode('utf-8'))在POST请求中，会看到我们对请求头和请求体都进行了封装。
发送带参数的请求
对于参数携带这块，GET请求可以直接通过URL进行传递，或者是我们可以通过urllib.parse模块来构造带有查询参数的URL路径，如下所示，在代码中通过urlencode方法来进行字典转换，将字典转换成参数字符串进行请求。
import urllib3from urllib.parse import urlencodehttp = urllib3.PoolManager# 构造查询参数params = {'page': 1, 'size': 10}url = 'https://httpbin.org/get?' + urlencode(params)# 发起请求response = http.request('GET', url)print(response.status)print(response.data.decode('utf-8'))根据上面的例子，我们可以看到在urllib3的响应对象中提供了多种的属性以及方法来获取响应的详细信息，比较常见，或者是比较常用的属性有如下几个。
response.status: HTTP响应状态码。response.data: 响应的原始数据，是一个字节串。response.headers: 响应头，以字典形式返回。response.reason: 响应的描述性信息（如“OK”）。当然，除了这些基础响应之外，我们还需要了解一下对于响应数据的处理，一般情况下我们获取到的数据都是JSON格式的数据，所以我们可以将这个JSON格式的数据直接加载成为Python的对象来处理，如下所示。
import json# 解析JSON响应response_json = json.loads(response.data.decode('utf-8'))print(response_json)当然，JSON数据之外，我们还可能会直接接收到HTML的数据，所以我们也可以通过HTML解析类库来对数据进行解析存储利用。
在之前介绍request库的时候，我们提到过，爬虫操作过程中，我们可能会遇到网络波动、服务器不可用等情况，在urllib3中内置了一个强大的重试机制，我们可以通过Retry类来实现请求重试策略，如下所示。
import urllib3from urllib3.util.retry import Retryfrom urllib3.poolmanager import PoolManager# 设置重试机制retry = Retry(total=3, # 重试次数backoff_factor=0.3, # 重试间隔的倍数status_forcelist=[500, 502, 503, 504], # 对这些状态码进行重试)# 创建连接池管理器http = urllib3.PoolManager(retries=retry)# 发起请求response = http.request('GET', 'https://httpbin.org/status/500')print(response.status)我们看到在这个例子中，当遇到5XX的错误的时候，表示服务器内部出现了错误，这个时候我们可以对请求进行重试，最多进行3次的重试，并且每次重试的时间间隔会递增，这里我们可以通过backoff_factor参数来进行控制，如上面的代码中所示。
那么在重试完之后，还是没有能解决的话，这个时候，就需要通过urllib3.exceptions模块中的异常来处理请求中的错误，如下所示。
from urllib3.exceptions import HTTPError, MaxRetryError, TimeoutErrortry:response = http.request('GET', 'https://httpbin.org/status/500')except MaxRetryError as e:print(f"最大重试次数达到: {e}")except TimeoutError as e:print(f"请求超时: {e}")except HTTPError as e:print(f"HTTP错误: {e}")SSL验证一般情况下，当遇到HTTPS请求的时候，需要用到SSL证书，在默认情况下urllib3会验证证书，如果需要禁用SSL验证机制或者是通过自定义证书进行验证的话，我们可以对其进行对应的配置。如下所示，展示了如何禁用SSL验证。
http = urllib3.PoolManager(cert_reqs='CERT_NONE', # 禁用SSL证书验证assert_hostname=False # 不检查主机名)response = http.request('GET', 'https://expired.badssl.com/')print(response.status)或者是我们有自定义的证书的话可以通过如下的方式来进行加载。
http = urllib3.PoolManager(cert_file='/path/to/cert.pem',key_file='/path/to/key.pem')response = http.request('GET', 'https://secure.example.com/')print(response.status)连接池与性能优化池化技术，作为一个可以实现连接重用的机制，在urllib3中通过PoolManager类来提供连接池管理功能。通过连接池技术来避免每次请求都重新创建连接，从而提高的程序执行的性能，如下所示，我们可以通过如下的配置，来设置连接池的大小。
http = urllib3.PoolManager(num_pools=10, # 最大连接池数量maxsize=10, # 每个池最大连接数block=True # 如果连接池满了，则阻塞等待)response = http.request('GET', 'https://httpbin.org/get')print(response.status)urllib3是一个功能强大的HTTP客户端库，它不仅能发起HTTP请求，还提供了连接池管理、重试机制、SSL验证等多种高级功能，特别适合在爬虫开发中使用。在实际应用中，可以将urllib3与其他爬虫库（如requests）结合使用，这样可以进一步简化和优化爬虫的开发流程，提升爬虫操作性能。
来源：从程序员到架构师
