本地搭建自动化AI短视频-ShortGpt

简介

ShortGPT 是一个强大的自动化内容创建框架。它简化了视频创建、素材获取、画外音合成和编辑任务。

  • 🎞️ 自动编辑框架：使用面向LLM的视频编辑语言简化视频创建过程。
  • 📃 脚本和提示：为各种LLM自动编辑过程提供即用型脚本和提示。
  • 🗣️ 画外音/内容创作：支持多种语言，包括英语🇺🇸西班牙语🇪🇸阿拉伯语🇦🇪法语🇫🇷波兰语🇵🇱德语🇩🇪意大利语🇮🇹和葡萄牙语🇵🇹。
  • 🔗 字幕生成：自动生成视频字幕。
  • 🌐🎥 资产来源：从互联网上获取图像和视频片段，并根据需要与网络和 Pexels API 连接。
  • 🧠 内存和持久性：使用 TinyDB 确保自动编辑变量的长期持久性。

使用的技术

ShortGPT 利用以下技术来增强其功能：

  • Moviepy：Moviepy用于视频编辑，允许ShortGPT进行视频编辑和渲染
  • Openai：Openai用于自动化整个过程，包括为LLM自动编辑过程生成脚本和提示。
  • ElevenLabs：ElevenLabs用于语音合成，支持多种语言进行画外音创作。
  • Pexels：Pexels 用于获取背景素材，允许 ShortGPT 与网络连接并访问各种图像和视频。
  • 必应图像：必应图像用于获取图像，为 ShortGPT 提供全面的数据库来检索相关视觉对象。

这些技术协同工作，通过 AI 自动创建视频和短内容，提供无缝高效的体验。

在线使用

如果您不想在本地系统上安装必备组件，则可以使用 Google Colab 。此选项是免费的，不需要安装设置。

  1. 点击链接到谷歌Colab：https://colab.research.google.com/drive/1_2UKdpF6lqxCqWaAcZb3rwMVQqtbisdE?usp=sharing
  2. 进入后，只需按从上到下的顺序运行单元格即可。您可以通过单击每个单元格并按“播放”按钮或使用 键盘 .享受使用短GPT的乐趣！

本地安装

先决条件

在开始之前，请确保系统上安装了以下必备组件：

  • Python 3.x
  • Pip （Python 包安装程序）

安装步骤

按照以下说明安装 ImageMagick、FFmpeg 并克隆 shortGPT 存储库：

第 1 步：安装 ImageMagick

  1. 要从ImageMagick官方网站下载安装程序，并按照安装说明进行操作。Windows

    https://imagemagick.org/script/download.php

  2. 对于基于 Ubuntu/Debian 的系统，请使用以下命令：

    1
    sudo apt-get install imagemagick

    然后运行以下命令以修复 moviepy Imagemagick 策略.xml不兼容问题：

    1
    !sed -i '/<policy domain="path" rights="none" pattern="@\*"/d' /etc/ImageMagick-6/policy.xml

  3. 对于使用自制软件的 macOS，请使用以下命令：

    1
    brew install imagemagick

  4. 通过运行以下命令验证安装：

    1
    convert --version

    如果安装成功，您应该会看到 ImageMagick 版本信息。

第 2 步：安装 FFmpeg（需要 SHORTGPT 才能工作）

  1. 对于从此Windows安装程序下载FFmpeg二进制文件（它将下载ffmpeg，ffprobe并将其添加到您的路径中）。Windows

    https://github.com/icedterminal/ffmpeg-installer/releases/tag/6.0.0.20230306

  2. 对于使用自制软件的 macOS，请使用以下命令：

    1
    brew install ffmpeg

    对于基于 Ubuntu/Debian 的系统，请使用以下命令：

    1
    sudo apt-get install ffmpeg

  3. 通过运行以下命令验证安装：

    1
    ffmpeg -version

    如果安装成功，您应该会看到 FFmpeg 版本信息。

Step 3: 克隆短 GPT 存储库

  1. 打开终端或命令提示符。

  2. 执行以下命令克隆 shortGPT 存储库：

    1
    git clone https://github.com/rayventura/shortgpt.git

步骤 4：安装 Python 依赖项

  1. 打开终端或命令提示符。

  2. 导航到所在的目录（克隆的存储库）。shortgpt.py

  3. 执行以下命令以安装所需的 Python 依赖项：

    1
    pip install -r requirements.txt

    此命令将安装文件中指定的必要包。requirements.txt

    ⚠️：我在mac上本地部署时还需要dotenv这个依赖

    1
    pip install dotenv

运行 runShortGPT.py Web 界面

成功安装 ImageMagick、FFmpeg 和 Python 依赖项后，可以按照以下步骤运行：shortgpt.py

  1. 打开终端或命令提示符。

  2. 导航到所在的目录（克隆的存储库）。runShortGPT.py

  3. 执行以下命令以运行脚本：

    1
    python3 runShortGPT.py

  4. 运行脚本后，应在端口 31415 （http://localhost:31415） 上的本地主机上打开 Gradio 接口。

放置 API 密钥

ShortGPT UI 需要您至少输入 OpenAI 和 ElevenLabs API 密钥才能运行简短的自动化。对于视频自动化，您还需要添加 Pexels API。

请按照以下步骤添加您的 OpenAI 和 ElevenLabs API 密钥：

  1. 从 Web 浏览器打开 http://localhost:31415/?__theme=light。
  2. 单击位于用户界面左侧栏的选项卡。config
  3. 在相应的输入字段中添加您的 and。OPENAI API KEY``ELEVENLABS API KEY
  4. 单击以保存您的 API 密钥。Save

就是这样！您已成功设置 API 密钥，现在可以在 Gradio 界面中使用 ShortGPT 的功能。

我的体验

部署简单、使用方便，但api目前太贵了，加上open ai的api调用有限制，总体来说如果不是对接本地化模型还是离真正意义上仅用提示词完成短视频有段距离。