作为
本次发布包含
在本文中，我们将介绍如何在 Diffusers 中使用 Stable Diffusion 3.5 (SD3.5)，涵盖推理和训练两方面内容。
模型结构改进
对于 SD3.5-large 使用的 transformer 模型，其结构基本和 SD3-medium 里的相同，但有以下更改:
除此之外，文本编码器 (text encoder)、图像的变分自编码器 (VAE) 以及噪声调度器 (noise scheduler) 均和 SD3-medium 保持一致。如果对 SD3 感兴趣，可以参考
在 Diffusers 中使用 SD3.5
首先你需要确保安装的 Diffusers 是最新版本:
pip install -U diffusers
由于模型存在访问限制，你还需要到
huggingface-cli login
下列代码将下载 SD3.5 的 8B 模型。下载的模型使用 torch.bfloat16 精度，这是 Stability AI 的原版格式，也推荐使用该精度进行推理。
import torch
from diffusers import StableDiffusion3Pipelinepipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.bfloat16
).to("cuda")image = pipe(prompt="a photo of a cat holding a sign that says hello world",
negative_prompt="",
num_inference_steps=40,
height=1024,
width=1024,
guidance_scale=4.5,
).images[0]image.save("sd3_hello_world.png")
本次发布也包含了一个 “时间步蒸馏” 的模型，该模型推理时无需 classifier-free guidance，可在短短几步推理内生成图片 (通常是 4 到 8 步)。
import torch
from diffusers import StableDiffusion3Pipelinepipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large-turbo", torch_dtype=torch.bfloat16
).to("cuda")image = pipe(prompt="a photo of a cat holding a sign that says hello world",
num_inference_steps=4,
height=1024,
width=1024,
guidance_scale=1.0,
).images[0]image.save("sd3_hello_world.png")
此外，在
在推理过程中使用量化策略
Diffusers 原生支持使用
首先，我们需要安装必要的库:
pip install -Uq git+https://github.com/huggingface/transformers@mainpip install -Uq bitsandbytes
接下来加载
from diffusers import BitsAndBytesConfig, SD3Transformer2DModel
import torchmodel_id = "stabilityai/stable-diffusion-3.5-large"
nf4_config = BitsAndBytesConfig(load_in_4bit=True,
bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16)model_nf4 = SD3Transformer2DModel.from_pretrained( model_id,subfolder="transformer",
quantization_config=nf4_config, torch_dtype=torch.bfloat16)
然后我们就能进行推理了:
from diffusers import StableDiffusion3Pipelinepipeline = StableDiffusion3Pipeline.from_pretrained( model_id, transformer=model_nf4, torch_dtype=torch.bfloat16)pipeline.enable_model_cpu_offload()prompt = "A whimsical and creative image depicting a hybrid creature that is a mix of a waffle and a hippopotamus, basking in a river of melted butter amidst a breakfast-themed landscape. It features the distinctive, bulky body shape of a hippo. However, instead of the usual grey skin, the creature's body resembles a golden-brown, crispy waffle fresh off the griddle. The skin is textured with the familiar grid pattern of a waffle, each square filled with a glistening sheen of syrup. The environment combines the natural habitat of a hippo with elements of a breakfast table setting, a river of warm, melted butter, with oversized utensils or plates peeking out from the lush, pancake-like foliage in the background, a towering pepper mill standing in for a tree. As the sun rises in this fantastical world, it casts a warm, buttery glow over the scene. The creature, content in its butter river, lets out a yawn. Nearby, a flock of birds take flight"
image = pipeline( prompt=prompt,negative_prompt="",
num_inference_steps=28,
guidance_scale=4.5,
max_sequence_length=512,
).images[0]
image.save("whimsical.png")
如果你想调节 BitsAndBytesConfig 中其它配置，你可以在
直接载入相同 nf4_config 配置的已量化模型也是可以的，这对 RAM 较低的机器来说非常实用，读者可以在
在 SD3.5-large 上使用量化策略训练 LoRA
借助 bitsandbytes 和 peft ，我们可以在消费级显卡 (24GB 显存) 上微调像 SD3.5 这样的大模型。我们提供的
accelerate launch train_dreambooth_lora_sd3.py \
--pretrained_model_name_or_path="stabilityai/stable-diffusion-3.5-large" \
--dataset_name="Norod78/Yarn-art-style" \
--output_dir="yart_art_sd3-5_lora" \
--mixed_precision="bf16" \
--instance_prompt="Frog, yarn art style" \
--caption_column="text"\ --resolution=768 \ --train_batch_size=1 \ --gradient_accumulation_steps=1 \ --learning_rate=4e-4 \--report_to="wandb" \
--lr_scheduler="constant" \ --lr_warmup_steps=0 \ --max_train_steps=700 \ --rank=16 \--seed="0" \
--push_to_hub
但如果想在训练中加入量化，还需要调整一些地方，这包括以下几个大概方向:
transformer 时，加上量化配置，或者直接加载量化过的模型。peft 中的 prepare_model_for_kbit_training() 函数对模型进行准备操作。peft 对 bitsandbytes 的强力支持)。读者可参考
使用 single-file 方法加载 SD3.5 的 Transformer 模型
Stable Diffusion 3.5 的 transformer 模型还可以使用 Stability AI 发布的原生参数文件来进行初始化 。这里需要使用 from_single_file 方法:
import torch
from diffusers import SD3Transformer2DModel, StableDiffusion3Pipelinetransformer = SD3Transformer2DModel.from_single_file("https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo/blob/main/sd3.5_large.safetensors",
torch_dtype=torch.bfloat16,)pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large",
transformer=transformer, torch_dtype=torch.bfloat16,)pipe.enable_model_cpu_offload()image = pipe("a cat holding a sign that says hello world").images[0]
image.save("sd35.png")
重要链接
声明: 感谢
英文原文:
https://hf.co/blog/sd3-5 原文作者: YiYi Xu, Aryan V S, Dhruv Nair, Sayak Paul, Linoy Tsaban, Apolinário from multimodal AI art, Alvaro Somoza, Aritra Roy Gosthipaty
译者: hugging-hoi2022
