摘要：Python处理Excel大数据有很多方式，不过Excel撑死才104万行，能有多大的数据，一般用pandas读取就可以，pandas有专门的分块读取模式，比如说每次只读取1万行用于处理，这样就不会太占用内存。
有人问Python怎么处理大数据的Excel文件？
Python处理Excel大数据有很多方式，不过Excel撑死才104万行，能有多大的数据，一般用pandas读取就可以，pandas有专门的分块读取模式，比如说每次只读取1万行用于处理，这样就不会太占用内存。
pandas read_excel方法有专门的参数chunksize用于设置分块读取，代码示例如下：
import pandas as pd# 读取'test_data.xlsx'大文件# 分块读取以减少内存占用chunk_size = 10000chunks = pd.read_excel('test_data.xlsx', chunksize=chunk_size)# 对每个数据块进行处理processed_data = for i, chunk in enumerate(chunks): 这里代码是对每个数据块进行处理......读取Excel能用pandas尽量用pandas，但如果Excel文件非常大，已经远大于内存容量了，或者你相对Excel有更多其他处理，比如修改格式等，则可以用OpenPyXL。
它有专门的流式读取方式（只读模式read-only mode）来处理Excel，底层原理是OpenPyXL不会加载整个Excel文件到内存，而是保存为一个逻辑对象，在用的时候才流式去读取它。
from openpyxl import load_workbook# 使用只读模式读取大型Excel文件read_wb = load_workbook('large_data.xlsx', read_only=True)read_ws = read_wb.active# 以流式方式逐行读取、处理和写入row_count = 0for row in read_ws.iter_rows(min_row=2): 这里代码是对每一行进行处理......OpenPyXL也可以流式写入Excel，原理同读取一样，采用write_only模式。
另外一个可以大规模写入数据，不占用内存的是库是xlsxWriter，它有个“常量内存”模式，支持每写入一行，就在内存中清除上一行占用的空间，意味着内存只存有一行数据，永远是够用的。
import xlsxwriter# 创建一个文件名，用于写入数据file_name = 'large_data_constant_memory.xlsx'# 创建一个工作簿对象，并启用常量内存模式workbook = xlsxwriter.Workbook(file_name, {'constant_memory': True})worksheet = workbook.add_worksheet这里可以写入大量数据，不会占用内存......除了以上几个库，还有像Dask、Polars、Modin、Rapids等库可以处理Excel大数据集，都是类似pandas的操作模式，但速度会快很多，可以试试。
来源：朱卫军AI
