本周 AI 工具领域涌现出多个新工具和更新，包括用于替换视频背景的开源工具 video-background-removal、ChatGPT 官方用于生成提示词的提示词生成功能、生成角色一致的真实与卡通照片的 FLUX.1 LoRA、无需编程的提示词优化 WebUI DSPyUI 以及谷歌推出的视觉语言模型 Ovis 1.6 Gemma 2 9B。

🚀 **video-background-removal：轻松替换视频背景** video-background-removal 是一个开源的小工具，它利用 BiRefNet 模型进行视频背景的分割，并使用 moviepy 库输出结果。用户可以用任何颜色、图像或视频替换输入视频的背景，实现视频背景自由。 [🔗 在线使用: https://huggingface.co/spaces/innova-ai/video-background-removal](https://huggingface.co/spaces/innova-ai/video-background-removal) [🔗 BiRefNet 模型: https://github.com/ZhengPeng7/BiRefNet](https://github.com/ZhengPeng7/BiRefNet) [🔗 moviepy 库: https://zulko.github.io/moviepy/](https://zulko.github.io/moviepy/)

🤖 **ChatGPT 官方用于生成提示词的提示词** OpenAI 在其官方文档中新增了 Prompt generation 模块，详细解释了之前发布的 Playground Generation 功能的工作原理，并附带了相关提示词。提供了两种模式——结构化提示词和 Schema 模式，未来可能会使用 DSPy 等工具进行优化。完整提示词可以在文档中查看。 [🔗 ChatGPT 官方文档中的 Prompt generation 模块: https://platform.openai.com/docs/guides/prompt-generation/prompts](https://platform.openai.com/docs/guides/prompt-generation/prompts)

🎨 **FLUX.1 LoRA：生成角色一致的真实与卡通照片** 一个有趣的 FLUX.1 LoRA 能够生成四张角色一致的真实照片，并在中间叠加一个该角色的卡通形象。这种不知道能否配合 PulID 之类的使用，感觉非常适合发小红书呀，感觉也可以复刻一个可以指定角色的工作流。 [🔗 角色一致的真实与卡通照片 LoRA: https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-One-Click-Creative-Template](https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-One-Click-Creative-Template)

💻 **DSPyUI：无需编程的提示词优化 WebUI** DSPy 是一种提示词优化技术，它通过编程方式替代传统的基于字符串的提示词工程。DSPy 允许用户通过内置模块定义如 ChainOfThought、ReAct 等提示词技巧。DSPyUI 提供了一个 WebUI，使得用户无需编程即可通过 DSPy 优化、微调及评估提示词。 [🔗 DSPyUI GitHub 仓库: https://github.com/hammer-mt/DSPyUI](https://github.com/hammer-mt/DSPyUI)

🧠 **谷歌推出 Ovis 1.6 Gemma 2 9B：视觉语言模型的新标杆** Ovis 1.6 Gemma 2 9B 是谷歌 Gemmaverse 模型家族的最新成员，它是一个视觉语言模型。该模型在多项基准测试中的平均分表现出色，不仅与商业模型 Claude-3.5 比肩，还超越了开源模型 Qwen2vl-7b。 [🔗 Ovis 1.6 Gemma 2 9B 模型: https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B](https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B)

原创 小茸茸 2024-10-12 09:41 重庆

开源工具video-background-removal替换视频背景；ChatGPT 生成提示词的提示词；FLUX.1 LoRA生成角色一致的真实与卡通照片；DSPyUI无需编程提示词优化 WebUI；Ovis 1.6 Gemma 2 9B

开源工具 video-background-removal：轻松替换视频背景

video-background-removal^[1] 是一个开源的小工具，它利用 BiRefNet^[2] 模型进行视频背景的分割，并使用 moviepy^[3] 库输出结果。用户可以用任何颜色、图像或视频替换输入视频的背景，实现视频背景自由。

ChatGPT 官方用于生成提示词的提示词

OpenAI 在其官方文档中新增了Prompt generation^[4] ，详细解释了之前发布的 Playground Generation 功能的工作原理，并附带了相关提示词。提供了两种模式——结构化提示词和 Schema 模式，未来可能会使用 DSPy 等工具进行优化。完整提示词可以在文档中查看，老规矩太长就不贴了。

FLUX.1 LoRA：生成角色一致的真实与卡通照片

一个有趣的 FLUX.1 LoRA^[5] 能够生成四张角色一致的真实照片，并在中间叠加一个该角色的卡通形象。这种不知道能否配合PulID之类的使用，感觉非常适合发小红书呀，感觉也可以复刻一个可以指定角色的工作流

DSPyUI：无需编程的提示词优化 WebUI

DSPy 是一种提示词优化技术，它通过编程方式替代传统的基于字符串的提示词工程。DSPy 允许用户通过内置模块定义如 ChainOfThought、ReAct 等提示词技巧。

DSPyUI^[6] 提供了一个 WebUI，使得用户无需编程即可通过 DSPy 优化、微调及评估提示词。

谷歌推出 Ovis 1.6 Gemma 2 9B：视觉语言模型的新标杆

Ovis 1.6 Gemma 2 9B^[7] 是谷歌 Gemmaverse 模型家族的最新成员，它是一个视觉语言模型。该模型在多项基准测试中的平均分表现出色，不仅与商业模型 Claude-3.5 比肩，还超越了开源模型 Qwen2vl-7b。

---

❝

老规矩，今天又到征稿日了，如果你喜欢《一觉醒来 AI 界发生了什么》系列的话，欢迎投喂，捧个人场 1 元不嫌少哈，手头紧也没事，多看几期，长线陪伴，笔芯

Reference

[1]

video-background-removal 在线使用: https://huggingface.co/spaces/innova-ai/video-background-removal

[2]

BiRefNet 模型: https://github.com/ZhengPeng7/BiRefNet

[3]

moviepy 库: https://zulko.github.io/moviepy/

[4]

ChatGPT 官方文档中的 Prompt generation 模块: https://platform.openai.com/docs/guides/prompt-generation/prompts

[5]

角色一致的真实与卡通照片 LoRA: https://huggingface.co/Shakker-Labs/FLUX.1-dev-LoRA-One-Click-Creative-Template

[6]

DSPyUI GitHub 仓库: https://github.com/hammer-mt/DSPyUI

[7]

Ovis 1.6 Gemma 2 9B 模型: https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B

阅读原文

跳转微信打开