YouDub-优质视频中文化工具

简介

YouDub 是一个创新的开源工具，专注于将 YouTube 等平台的优质视频翻译和配音为中文版本。此工具融合了先进的 AI 技术，包括语音识别、大型语言模型翻译以及 AI 声音克隆技术，为中文用户提供具有原始 YouTuber 音色的中文配音视频。

项目地址：https://github.com/liuzhao1225/YouDub

主要特点

  • AI 语音识别：有效转换视频中的语音为文字。
  • 大型语言模型翻译：快速且精准地将文本翻译成中文。
  • AI 声音克隆：生成与原视频配音相似的中文语音。
  • 视频处理：集成的功能实现音视频的同步处理。

安装与使用指南

  1. 克隆仓库

    ：

    1
    git clone https://github.com/liuzhao1225/YouDub.git

  2. 安装依赖

    ： 进入

    1
    YouDub

    目录并安装所需依赖：

    1
    2
    cd YouDub
    pip install -r requirements.txt

  3. 运行程序

    ： 使用以下命令启动主程序：

    1
    python main.py

使用步骤

  • 准备需要翻译的视频文件并放置于输入文件夹。
  • 指定输出文件夹以接收处理后的视频。
  • 系统将自动进行语音识别、翻译、声音克隆和视频处理。

技术细节

AI 语音识别

目前，我们的 AI 语音识别功能是基于 Whisper 实现的。Whisper 是 OpenAI 开发的一款强大的语音识别系统，能够精确地将语音转换为文本。考虑到未来的效率和性能提升，我们计划评估并可能迁移到 WhisperX，这是一个更高效的语音识别系统，旨在进一步提高处理速度和准确度。

大型语言模型翻译

我们的翻译功能支持使用 OpenAI API 提供的各种模型，包括官方的 GPT 模型。此外，我们也在探索使用类似 api-for-open-llm 这样的项目，以便更灵活地整合和利用不同的大型语言模型进行翻译工作。

AI 声音克隆

声音克隆方面，我们目前使用的是 Paddle Speech。虽然 Paddle Speech 提供了高质量的语音合成能力，但目前尚无法在同一句话中同时生成中文和英文。在此之前，我们也考虑过使用 Coqui AI TTS，它能够进行高效的声音克隆，但同样面临一些限制。

视频处理

我们的视频处理功能强调音视频的同步处理，例如确保音频与视频画面的完美对齐，以及生成准确的字幕，从而为用户提供一个无缝的观看体验。