原创 海辛 2022-10-22 21:46 上海
一个和导演彻底没关系了的项目demo
很久没更新了，这次做了一个和导演基本没关系了的项目 demo（。）
通过微调 Stable Diffusion 制作了一个 AI 纹身贴生成器，用户可以根据任意输入的文本，一键设计纹身贴，使用地址见后文。
“船与鸟”
“钟表”
“月亮”
“花朵”
“海豚”
“猫”
开发笔记
Stable Diffusion 是一个很好的通用类大模型，但在生成特定风格的图片时常常不够方便，比如在“纹身”的场合，直接用 SD 生成的纹身大多会同时生成手臂、身体等部位，没有办法一键打印使用；同时也很难精准控制纹身图案的内容。
上图中，左图是直接用 SD 生成的关于月亮的纹身，右图是微调 SD 模型后生成的月亮纹身。所以对于特殊场景的设计需求，调整 SD 模型可能是最优解，毕竟大吟唱术耗时费力还玄学。
测试地址
>> COLAB：https://colab.research.google.com/drive/1sKMIjbO_GZm-AqtoeYKX0b-fE_vhI09t?usp=sharing
>> Huggingface：https://huggingface.co/ringhyacinth/tattoo-alpha-test/tree/main
你可以在 COLAB 上直接生成，或者通过 Huggingface 下载测试模型。欢迎在使用后告诉我你的反馈意见，我们会根据大家的意见进行优化，如果优化成功的话，正式版预计在 11 月月初发布，如果优化失败的话，这个项目就窗了。哈哈哈。
* 毕竟是在测试阶段的 demo, 当然是禁止商用的。
另外
另外，在 fine-tuned 的过程中，我们也有一些遇到的问题，如果你碰巧知道这个问题的答案也欢迎和我们交流！后台留言告诉我您的微信即可！
1. 不知道为什么 ckpt 转 diffuser 后，模型效果差了很多，我们用的脚本是：
https://github.com/justinpinkney/stable-diffusion/blob/main/scripts/convert_sd_to_diffusers.py
2. 我们用了 Blip 来给数据集做标注，效果不是很好，手动标注数据集量还是太大了，不知道有没有推荐的更好的办法？
3. 如何判断 fine tuned 过程中的最佳训练步数？这点似乎是很感性的经验，期待交流~！
模型训练：周末（微博@星辰是一团旧火）、海辛
数据集：Kelvin Zhu、海辛
powered by Stable Diffusion
