介绍

DiffSynth 是一个新的扩散引擎。我们重构了文本编码器、UNet、VAE等架构，保持与开源社区模型的兼容性，同时增强计算性能。该版本目前处于初始阶段，支持SD和SDXL架构。未来，我们计划基于这个新的代码库开发更多有趣的功能。

安装

创建Python环境：

conda env create -f environment.yml

我们发现有时conda无法正确安装cupy，请手动安装。请参阅此文档了解更多详细信息。

进入Python环境：

conda activate DiffSynthStudio

用法（在 WebUI 中）

python -m streamlit run Diffsynth_Studio.py

用法（Python 代码中）

示例 1：稳定扩散

我们可以生成分辨率非常高的图像。请参阅examples/sd_text_to_image.py了解更多详情。

512*512	1024*1024	2048*2048	4096*4096

示例 2：稳定扩散 XL

使用 Stable Diffusion XL 生成图像。请参阅examples/sdxl_text_to_image.py了解更多详情。

1024*1024	2048*2048

示例 3：稳定扩散 XL Turbo

使用 Stable Diffusion XL Turbo 生成图像。您可以查看examples/sdxl_turbo.py更多详细信息，但我们强烈建议您在 WebUI 中使用它。

“黑车”	“红色汽车”

示例 4：卡通着色 (Diffutoon)

本示例基于Diffutoon实现。这种方法适合渲染快速运动的高分辨率视频。您可以轻松修改配置字典中的参数。看examples/diffutoon_toon_shading.py。我们还提供了Colab 上的示例。

示例 5：带有编辑信号的卡通着色 (Diffutoon)

本示例基于Diffutoon实现，支持视频编辑信号。看examples\diffutoon_toon_shading_with_editing_signals.py。Colab 示例中也支持编辑功能。

示例 6：卡通着色（使用本机 Python 代码）

本示例是为开发者提供的。如果你不想使用config来管理参数，你可以查看examples/sd_toon_shading.py学习如何在原生Python代码中使用它。

示例 7：文本转视频

根据提示，DiffSynth Studio 可以使用稳定扩散模型和 AnimateDiff 模型生成视频。我们可以突破帧数的限制！看examples/sd_text_to_video.py。

示例 8：视频风格化

我们提供了视频风格化的示例。在这个管道中，渲染的视频与原始视频完全不同，因此我们需要强大的去闪烁算法。我们使用 FastBlend 来实现去闪烁模块。请参阅examples/sd_video_rerender.py了解更多详情。

示例 9：提示处理

如果您的母语不是英语，我们为您提供翻译服务。我们的提示器可以将其他语言翻译成英语，并使用“BeautifulPrompt”模型对其进行改进。请参阅examples/sd_prompt_refining.py了解更多详情。

提示：“一个漂亮的女孩”。翻译模型会将其翻译为英语。

种子=0	种子=1	种子=2	种子=3

提示：“一个漂亮的女孩”。翻译模型会将其翻译为英语。然后，细化模型将细化翻译后的提示，以获得更好的视觉质量。

种子=0	种子=1	种子=2	种子=3