PIA：个性化图像动画师
PIA：通过文本到图像模型中的即插即用模块实现您的个性化图像动画师
张一鸣†、邢哲宁†、曾艳红、方有庆、陈凯*
（*通讯作者，†同等贡献）
您可能还想尝试我们团队的其他项目：
PIA是一种个性化的图像动画方法，可以生成运动可控性高、文字图像对齐能力强的视频。
什么是新的
[2024/01/03] 添加复制演示和 API！
[2024/01/03] 新增第三方Colab！
[2023/12/28] PIA 只需 16GB GPU 内存就可以制作 1024x1024 图像的动画scaled_dot_product_attention！
[2023/12/25] HuggingFace 演示现已推出！🤗 枢纽
[2023/12/22] 发布PIA模型和demo。尝试制作您的个性化电影！
- OpenXLab在线演示
- Google Drive上的检查
设置
准备环境
使用以下命令安装Pytorch==2.0.0及其他依赖项：
conda env create -f environment-pt2.yaml
conda activate pia
如果你想使用较低版本的Pytorch（例如1.13.1），可以使用以下命令：
conda env create -f environment.yaml
conda activate pia
我们强烈建议您使用 Pytorch==2.0.0，它支持scaled_dot_product_attention节省内存的图像动画。
下载检查点
- 下载稳定扩散 v1-5
git lfs install
git clone https://huggingface.co/runwayml/stable-diffusion-v1-5 models/StableDiffusion/
- 下载个性化模型
bash download_bashscripts/1-RealisticVision.sh
bash download_bashscripts/2-RcnzCartoon.sh
bash download_bashscripts/3-MajicMix.sh
- 下载PIA
bash download_bashscripts/0-PIA.sh
您还可以通过Google Drive 或HuggingFace上的链接下载pia.ckpt。
设置检查点如下：
└── models
├── DreamBooth_LoRA
│ ├── ...
├── PIA
│ ├── pia.ckpt
└── StableDiffusion
├── vae
├── unet
└── ...
用法
图像动画
图像转视频结果可以通过以下方式获得：
python inference.py --config=example/config/lighthouse.yaml
python inference.py --config=example/config/harry.yaml
python inference.py --config=example/config/majic_girl.yaml
运行上面的命令，你会得到：
|
输入图像 |
闪电, 灯塔 |
太阳升起，灯塔 |
烟花、灯塔 |
 |
 |
 |
 |
|
输入图像 |
1个男孩微笑着 |
1男孩玩魔法火 |
1男孩挥手 |
 |
 |
||
|
输入图像 |
1个女孩在微笑 |
1个女孩在哭 |
1个女孩，下雪了 |
 |
 |
运动幅度
您可以通过参数幅度控制运动幅度：
python inference.py --config=example/config/xxx.yaml --magnitude=0 # Small Motion
python inference.py --config=example/config/xxx.yaml --magnitude=1 # Moderate Motion
python inference.py --config=example/config/xxx.yaml --magnitude=2 # Large Motion
例子：
python inference.py --config=example/config/labrador.yaml
python inference.py --config=example/config/bear.yaml
python inference.py --config=example/config/genshin.yaml
|
输入图像 |
小动作 |
适度运动 |
大动作 |
 一只金色的拉布拉多正在奔跑 |
 |
||
 1 熊正在行走，... |
 |
 |
 |
 樱花，... |
 |
 |
风格转移
要实现样式迁移，可以运行命令（请不要忘记在 xxx.yaml 中设置基础模型）：
例子：
python inference.py --config example/config/concert.yaml --style_transfer
python inference.py --config example/config/ania.yaml --style_transfer
|
输入图像 |
1 人在微笑 |
1个人在哭 |
1个人在唱歌 |
 现实的愿景 |
|||
| RCNZ 卡通 3d |
 |
 |
|
|
|
1个微笑的女孩 |
1个女孩张开嘴 |
1个女孩哭了，撅嘴 |
 RCNZ 卡通 3d |
 |
 |
 |
循环视频
您可以使用参数--loop来生成循环
python inference.py --config=example/config/xxx.yaml --loop