摘要：安装Python后，通过命令行工具（Windows下是命令提示符或PowerShell，Linux和macOS是终端），使用包管理工具 pip 安装必备的库。
在信息呈指数级增长的互联网时代，视频已成为主流内容载体，其形式直观、内容丰富。
不管是用于学术研究、数据备份，还是舆情监测，视频爬取技术都为获取特定视频资源提供了有效途径。
接下来，我们深入探索视频爬取的世界，着重介绍实操过程中关键的代码运用。
在开始爬取前，需搭建好Python开发环境，Python拥有丰富的库，是视频爬取的得力工具。
安装Python后，通过命令行工具（Windows下是命令提示符或PowerShell，Linux和macOS是终端），使用包管理工具 pip 安装必备的库。
# 安装Requests库，用于发送HTTP请求pip install requests# 安装beautifulsoup4库，用于解析网页pip install beautifulsoup4# 安装Scrapy库，强大的爬虫框架，可选安装pip install Scrapy# 若需处理验证码，安装pytesseract和Pillowpip install pytesseract pillow# 安装lXML库，提高解析效率（可用于BeautifulSoup和Scrapy）pip install lxml# 安装fake-useragent库，随机生成User-Agentpip install fake-UserAgent# 安装proxybroker库，用于获取免费代理IP（需注意合法性和稳定性）pip install proxybrokerrequests 库能像浏览器一样与服务器交互， beautifulsoup4 擅长解析HTML和XML文档， scrapy 提供更高级的爬虫功能和架构，可按需选择使用。
pytesseract 结合 Pillow 用于验证码识别， lxml 可显著提升网页解析速度， fake - useragent 用于随机生成请求头中的 User - Agent 以增强爬虫隐蔽性， proxybroker 则有助于获取免费代理IP应对IP限制。
1、使用BeautifulSoup解析网页
利用 BeautifulSoup 库解析网页，定位视频链接。假设已获取到网页的HTML内容并存储在 html 变量中：
from bs4 import BeautifulSoupfrom fake_useragent import UserAgent# 使用lxml解析器创建BeautifulSoup对象，提高解析效率soup = BeautifulSoup(html, 'lxml')# 随机生成User - Agentua = UserAgentheaders = {'User - Agent': ua.random}# 查找所有的标签video_tags = soup.find_all('video')for video in video_tags:video_url = video.get('src')if video_url:print(video_url) # 打印视频链接2、使用Scrapy框架（进阶）
如果使用 Scrapy 框架，首先要创建一个新的爬虫项目。在命令行中执行：
# 创建名为video_crawler的项目scrapy startproject video_crawlercd video_crawler# 在项目中创建名为video_spider的爬虫，针对example.com网站scrapy genspider video_spider example.com然后在生成的爬虫文件 video_spider.py 中，编写解析逻辑，使用 Scrapy 的选择器语法定位视频链接，例如：
import scrapyfrom fake_useragent import UserAgentua = UserAgentclass VideoSpider(scrapy.Spider):name = 'video_spider'start_urls = ['http://example.com']def start_requests(self):for url in self.start_urls:yield scrapy.Request(url, headers={'User - Agent': ua.random})def parse(self, response):# 使用CSS选择器获取所有视频链接video_urls = response.css('video::attr(src)').getallfor url in video_urls:yield {'video_url': url}获取视频链接后，使用 requests 库下载视频。以一个简单的示例说明：
import requestsfrom tqdm import tqdm # 用于显示下载进度条video_url = 'http://example.com/video.mp4'# 设置请求头，模拟浏览器访问headers = {'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}# stream=True表示以流的形式获取响应内容，避免一次性加载大量数据response = requests.get(video_url, stream=True, headers=headers)# 获取视频总大小total_size = int(response.headers.get('content - length', 0))# 分块大小block_size = 1024with open('video.mp4', 'wb') as f:with tqdm(total=total_size, unit='iB', unit_scale=True) as pbar:for chunk in response.iter_content(chunk_size=block_size):if chunk:f.write(chunk)pbar.update(len(chunk))1、使用代理IP
当遇到IP限制时，利用代理IP可以突破。在 requests 库中设置代理非常简单，例如使用HTTP代理：
proxies = {'http': 'http://your_proxy_ip:port','HTTPS': 'https://your_proxy_ip:port'}response = requests.get(video_url, stream=True, proxies=proxies, headers=headers)也可以使用 Scrapy 框架的 DOWNLOADER_MiddlewareS 设置代理，在 settings.py 文件中添加：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,# 可以添加自定义代理中间件，用于动态切换代理'my_project.middlewares.CustomProxyMiddleware': 100}PROXY_LIST = ['http://proxy1:port', 'http://proxy2:port']然后在爬虫中动态切换代理，在 middlewares.py 中实现自定义代理中间件：
import randomfrom scrapy import signalsclass CustomProxyMiddleware:def __init__(self, proxy_list):self.proxy_list = proxy_list@classmethoddef from_crawler(cls, crawler):proxy_list = crawler.settings.get('PROXY_LIST')return cls(proxy_list)def process_request(self, request, spider):proxy = random.choice(self.proxy_list)request.meta['proxy'] = proxy若使用 proxybroker 获取免费代理IP，示例代码如下：
import asynciofrom proxybroker import Brokerasync def save_proxies:proxies = broker = Broker(proxies)tasks = asyncio.gather(broker.find(types=['HTTP', 'HTTPS'], limit=10),log_proxies(proxies))await tasksasync def log_proxies(proxies):while True:proxy = await proxies.getif proxy is None:breakprint('Found proxy: %s' % proxy)loop = asyncio.get_event_looploop.run_until_complete(save_proxies)2、验证码处理
对于简单的数字、字母验证码，可以使用 pytesseract 库结合 PIL 库进行OCR识别。
使用示例：
from PIL import Imageimport pytesseract# 打开验证码图片image = Image.open('captcha.png')# 进行OCR识别text = pytesseract.image_to_string(image)print(text)视频爬取技术虽然强大，但务必注意法律和道德边界。未经授权爬取受版权保护的视频或违反网站服务条款的行为，可能引发严重后果。在合法合规的前提下，灵活运用这些命令和技术，能高效地获取所需视频资源，为工作和研究助力。
来源：三戒逍遥
