VideoLingo：连接世界每一帧的字幕组神器

摘要：在全球化的时代，信息的传播和交流变得愈发重要。视频作为一种强大的信息载体，在跨语言、跨文化的沟通中发挥着重要作用。同时，AI 大模型的蓬勃发展，为视频的字幕翻译和本地化配音提供了新的可能性。

在全球化的时代，信息的传播和交流变得愈发重要。视频作为一种强大的信息载体，在跨语言、跨文化的沟通中发挥着重要作用。同时，AI 大模型的蓬勃发展，为视频的字幕翻译和本地化配音提供了新的可能性。

在这背景下，VideoLingo 应运而生，它能够为视频生成跨语言的字幕和配音，使得人人都能成为一个专业的字幕组。

VideoLingo 是一个一站式的视频翻译本地化配音工具，代码仓库位于 https://github.com/Huanshere/VideoLingo。VideoLingo 能够一键生成 Netflix 级别的高质量字幕，告别生硬机翻，告别多行字幕，还能加上高质量的克隆配音，让全世界的知识能够跨越语言的障碍共享。

VideoLingo 主要特点和功能包括：

使用 yt-dlp 从 Youtube 链接下载视频使用 WhisperX 进行单词级和低幻觉字幕识别使用 NLP 和 AI 进行字幕分割自定义 + AI 生成术语库，保证翻译连贯性三步直译、反思、意译，实现影视级翻译质量按照 Netflix 标准检查单行长度，绝无双行字幕支持 GPT-SoVITS、Azure、OpenAI 等多种配音方案一键启动，在 streamlit 中一键出片多语言支持就绪的 streamlit UI详细记录每步操作日志，支持随时中断和恢复进度

与同类项目相比，VideoLingo 绝无多行字幕，提供了最佳的翻译质量，以及无缝的配音体验。

VideoLingo 提供多种语言支持，包括：英语、俄语、法语、德语、意大利语、西班牙语、日语和中文等。其中中文使用了单独标点增强后的 whisper 模型。

VideoLingo 是一个 Python 项目，首先把代码仓库克隆到本地：

git clone https://github.com/Huanshere/VideoLingo.gitcd VideoLingo

然后安装依赖，需要 Python=3.10：

conda create -n videolingo python=3.10.0 -yconda activate videolingopython install.py

依赖安装完成后，使用 streamlit 启动应用：

streamlit run st.py

VideoLingo 依赖 FFmpeg，若本地环境没有，可以通过包管理器进行安装：

Windows: choco install ffmpegmacOS: brew install ffmpegLinux: sudo apt install ffmpeg

安装 CUDA Toolkit 12.6、CUDNN 9.3.0，并将 NVIDIA\CUDNN\v9.3\bin\12.6 添加到系统变量 PATH 中。

想要独立安装，也可以使用 docker，要求镜像拥有 CUDA 12.4 和 NVIDIA Driver 版本 >550：

docker build -t videolingo .docker run -d -p 8501:8501 --gpus all videolingo

VideoLingo 支持 OpenAI-Like 格式的所有 API 和各类配音接口，包括：

LLM: claude-3-5-sonnet-20240620, gemini-2.0-flash-exp, gpt-4o, deepseek-chat(v3), ...（按效果排序）WhisperX: 本地运行 WhisperX 或使用 302.ai APITTS: azure-tts, openai-tts, siliconflow-fishtts, fish-tts, GPT-SoVITS, edge-tts, *custom-tts (可以在 custom_tts.py 中自定义 TTS)

VideoLingo 运行起来后，可以在左侧进行配置，包括：LLM 的密钥和 URL、使用的模型、字幕的语言、配置的设置等：