Wunjo AI：高级语音和 Deepfake 神经网络工具

关于

使用 Wunjo AI 解锁神经网络无与伦比的功能。无论您是钻研语音合成、制作 Deepfake 动画、通过文本提示绘制稳定扩散视频还是视频制作，Wunjo AI 都能满足您的需求。

主要特征：

  • 语音合成：轻松将文本转换为类似人类的语音。
  • 语音克隆：从提供的音频文件中克隆语音或直接在应用程序中录制您的声音以进行实时克隆。
  • 多语言支持：目前支持英语、俄语、中文的语音克隆（来自任何语言的音频）以及英语、俄语合成，并计划扩展西班牙语的语音克隆合成模型。
  • 实时语音识别：听写文本并获得即时转录。免提内容创建的高效工具。
  • 多重对话创建：使用具有独特语音配置文件的无限角色制作多重对话。
  • 通过文本提示进行视频到视频：
    • 使用稳定扩散的不同模型通过文本提示重塑视频。让生成神经网络打造新的视觉叙事。
    • 一键通过文本提示更改视频中的单个对象，通过独特的文本查询在整个视频中更改它们。
    • 使用“pass”关键字保留特定对象而不进行更改。
  • 深伪动画：
    • 仅使用一张照片与音频相结合即可制作面孔动画。
    • 使用我们的 Deepfake 唇部功能实现与音频的精确唇部同步。
    • 通过我们的“换脸”功能，只需使用一张照片即可轻松交换视频、GIF 和照片中的面孔。
    • 实验性功能。借助文字描述改变视频中人物的情绪。
  • AI 修饰工具：通过删除不需要的对象或提高深度伪造的质量来提升您的视频。
  • 自动分割蒙版：选择任何时间段的任何对象，并获得具有透明或彩色背景的所选对象的故事板。

应用： 从广告中的配音到游戏中的角色配音，从有声读物旁白到有趣的 Deepfake 项目，Wunjo AI 提供了无限的可能性，而且一切都是免费的，并且在您的设备上是本地的。

为什么选择Wunjo AI？：

  • 一体化：一款满足您的语音和视觉 AI 需求的综合工具。
  • 用户友好：专为所有人设计，从初学者到专业人士。
  • 隐私第一：在您的桌面上本地运行，确保您的数据保持私密性。
  • 开源且免费：受益于社区驱动的增强功能，无需任何费用即可使用该应用程序。

与 Wunjo AI 一起迈入人工智能驱动的创造力的未来。

设置

要求Python版本 3.10 和ffmpeg。

有关从 GitHub 设置 Wunjo AI 的详细说明，请参阅我们 wiki 中的从 GitHub 启动项目部分。

安装包

Ubuntu / Debian v1.6（GPU版本）

有关从安装程序在Ubuntu / Debian 操作系统上安装 Wunjo AI 的详细说明

MacOS v1.6（CPU版本）

由于该项目的作者没有Apple许可证，目前无法创建官方安装程序。

Windows v1.6（CPU版本）

有关从安装程序在Windows上安装 Wunjo AI 的详细说明

阅读 Wunjo AI 文档如何在 Windows 上使用 GPU。

例子

语音合成和语音克隆

  • 俄语文本合成语音

  • 从先前合成的俄语语音克隆英语语音

  • 从之前合成的俄语语音克隆而来的中文语音

  • 俄语音频歌曲

  • 从音频中提取俄语声音

  • 音频中的俄罗斯克隆人声音

来自图像 src 的脸部动画

原来的 修复面部+增强剂

来自视频源的嘴巴动画

原来的 嘴巴动画 嘴巴动画+增强器

一张照片换脸

原始照片 原创视频 脸部交换+背景增强器

通过 Retouch AI 删除对象

原创视频 移除对象

AI 修饰提高 Deepfake 质量

动画唇后下巴有瑕疵纹 修饰下巴线条+换脸

一键获取分割掩码

原来的 面具

通过文本提示进行视频转视频（仅适用于 GPU）

视频分辨率越高，绘制帧的质量就越好。

Deepfake的视频分辨率512x512默认模型

原来的 金发+棕色外套

视频分辨率 512x512动漫定制模型

此外，您可以使用自定义稳定扩散模型来重绘具有不同时间线的视频或视频中的对象。

原来的 对象传递+背景更改
物体变更+强化移动 对象变更+强化动画

通过 GPU VRAM 限制视频分辨率

32GB 23GB 18GB 14GB 10GB 8GB 7GB
1280x1280 1080x1080 1024x1024 768x768 640x640 576x576 512x512

情感 Deepfake [实验]

这是一项正在开发中的实验性功能，但您可以查看 Wunjo AI 目前的一些工作。

原来的 快乐的 生气的
害怕 伤心 厌恶

语言

该应用程序内置对以下语言的支持：英语、俄语、中文、葡萄牙语和韩语。

如果您想添加新语言：

导航.wunjo/settings/settings.json。按以下格式添加您所需的语言："default_language": {"name": "code"}。要查找适合您的语言的代码，请参阅Google Cloud Translate 语言代码。

更新

更新1.6.0

  • 改进并自动从图像或视频中删除对象
  • 改进的编辑视频元素
  • 添加自动分割蒙版并保存
  • 通过文本提示工具添加Video2Video with ControlNet
  • 通过文本提示工具添加 InpaintVideoMask2Video with ControlNet
  • 优化长视频换脸内存使用
  • 优化使用内存来修饰和删除长视频的对象

更新1.6.1

  • 使用增强器修复错误。改进视频和面部增强器。添加了用于绘制视频的增强器
  • 改进了用于语音克隆的声码器
  • 添加克隆速度语音
  • 添加了模型以获取 Deepfakes 的背景声音和无背景噪音的清晰语音
  • 添加了从音频或视频中获取背景噪音的功能
  • 改进的语音克隆编码器
  •  模仿声音情绪并提高了语音克隆质量。
  • 减少用于嘴部动画的 RAM 量并提高视频质量
  • 添加语音增强功能
  •  音乐一代
  • 添加了通过图像改变视频风格的模块
  • 一篇文本的多语言语音
  • 添加了使用自动创建文本蒙版自动从视频或图像中删除文本的功能

更新1.6.2

  • WebGUI 的自定义浏览器
  • 添加选择浏览器运行
  • 添加了离线和在线模式之间的检查
  • 为用户添加了有关缺失模型以及如何手动下载的消息

更新2.0.0

会有v2版本吗？是的！

与熟悉的 Wunjo AI v1 不同，即将推出的 v2 不仅仅是更新；它是一个独立版本，标志着与 v1 并行开发并引入了新的可能性领域。

v1 被设计为一个用户友好的应用程序，将创建深度伪造和语音合成等流程简化为单击操作，以最小的进入门槛，而 v2 被设想为专业级编辑器，培养无限的创造力。

在 Wunjo v2 中，用户将体验到无与伦比的自由，能够制作自己的 Node 包，轻松保存和加载它们。

一些屏幕截图显示了当前的开发进度。

预览视频