36kr-科技 前天 17:33
AI生图大洗牌,流匹配架构颠覆传统,一个模型同时接受文本和图像输入
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

FLUX.1 Kontext是一款由Black Forest Labs推出的新型AI生图模型,它采用流匹配架构,实现了文本和图像的协同输入,提供更强大的上下文生成和编辑能力。该模型具备角色一致性、局部编辑、风格参考和交互速度快的特点,并推出了专业版和最高配版供用户选择,同时开放了试玩平台。Replicate的测试表明,FLUX.1 Kontext在效果和价格上均优于OpenAI的4o。文章还详细介绍了该模型在图像编辑、风格迁移、文本编辑和角色一致性方面的应用技巧,并提供了提示词优化的建议。

🖼️ **角色一致性:** FLUX.1 Kontext模型能够跨场景保留元素,确保在不同场景中人物的身份特征保持一致。在编辑人物时,无论改动大小,人物的身份特征都能被保留,这使得连续编辑变得更加流畅。

🎨 **局部编辑与风格参考:** 该模型支持局部编辑,用户可以针对图像的特定部分进行修改,而不会影响其余部分。同时,FLUX.1 Kontext还具备风格参考能力,可以根据现有风格生成新的场景,例如通过指定“印象派绘画”或“水彩素描”等风格来生成图像。

✍️ **文本编辑功能:** FLUX.1 Kontext支持在图像上新增文本、删除文本,甚至定位到已有文本修改。在使用文本编辑功能时,建议使用易读的字体,并明确说明要保留的内容。此外,尽可能匹配编辑前后的文本长度,以避免布局变化。

💡 **提示词技巧:** 为了获得更好的效果,文章总结了FLUX.1 Kontext的提示词技巧。包括使用清晰、详细的语言,准确命名颜色和描述视觉元素;将复杂的编辑分解成更小的步骤;明确哪些部分应该保留;使用描述性短语,避免使用代词;编辑文本时使用引号;明确控制构图;谨慎选择动词等。

AI生图新突破!一个模型同时接受文本和图像输入。

新模型FLUX.1 Kontext使用流匹配架构(Flow Matching),不再是文本编码器和扩散模型各干各的,与此前技术都不同。

最来自之前很火的Black Forest Labs,官方表示这一次能做到真正的上下文生成和编辑。

在编辑能力上,有人在著名的奥特曼尴尬照上P了一个小绿龙。

在生成能力上,有网友测试的猩猩打羽毛球细节也很丰富。

具体来说FLUX.1 Kontext有4个特性:

这次提供两种模型,专业版FLUX.1 Kontext [pro]更适合快速迭代,可基于之前的编辑

最高配版FLUX.1 Kontext [max],在遵循提示、文字排版和一致性有所提高。

同时推出官方试玩平台Flux Playground,两种型号都可以选用

此外开放权重版FLUX.1 Kontext [dev]提供内测。

提示词技巧

第三方平台Replicate对FLUX.1 Kontext做了详细测试,结论是比OpenAI的4o效果更好,还更便宜,图像也不会偏黄。

测试报告中还针对不同功能给了提示词技巧。

图像编辑

当编辑人物时,无论改动大小,人物的身份特征都会保留。

对于风格迁移任务,也能保留人物的基本特征。

对于更复杂的更改,例如添加人物或更改背景,需要分几步描述每项修改,只要每次改动不太复杂就可以获得好的效果。

风格迁移

风格迁移任务至少具体到“印象派绘画”或“水彩素描”,带上具体的流派艺术家效果更好,如“文艺复兴”或“20 世纪 60 年代的波普艺术”。

如果风格标签不够精准,那就描述一下关键特征,例如“清晰的笔触、厚重的颜料质感和丰富的色彩深度”。如果想保留某些元素,也需要明确说明,如“保持原始构图”。

总之,描述的越具体效果越好。

文本编辑

支持往图上新增文本、删除文本,甚至定位到已有文本修改。

处理文本时的一些技巧:

使用易读的字体,过于艺术化的字体表现不佳

明确说明要保留哪些内容。如果保留字体样式很重要,请务必提及

尽可能匹配编辑前后的文本长度。长度的大幅变化可能会改变布局

此外根据网友测试,FLUX.1 Kontext还可以删除文本,如把电影海报上的字全去掉。

角色一致性

在连续编辑时,首先要明确人物,然后说明哪些方面发生了变化,无论是场景、活动还是风格。

如果想让同一个人物继续存在,需要说明哪些方面需要保留:面部、表情、服饰或其他任何重要方面。

在编辑背景和场景的同时保持角色的一致性需要详细描述,以保持人物处于相同的位置、比例或姿势。

简短的提示有时会留下太多模糊的地方,如“把他挪到沙滩上”,就不如:

将背景换成海滩,同时保持人物位置不变,保持相同的主体位置、拍摄角度、取景和视角。只需替换人物周围的环境即可。

其他技巧

最后,Repilicate还对使用FLUX.1 Kontext的提示词技巧做了一个总结:

使用清晰、详细的语言。准确命名颜色,精准描述视觉元素,并选择直接的动作动词。避免使用“使其更好”之类的模糊词语。

将复杂的编辑分解成更小的步骤。按顺序进行操作,更容易管理较大的变更。

明确哪些部分应该保留。使用“同时保持相同的面部特征”或“维持原始构图”等短语来保护关键元素。

使用描述性短语,例如“留着黑色短发的女人”或“红色汽车”。避免使用代词。

编辑文本时使用引号,例如,“将‘x’替换为‘y’”

明确控制构图 :编辑场景时,明确说明是否要保留摄像机角度或取景框等内容。

谨慎选择动词 :“改造”之类的词语暗示着彻底的改造。如果想要更精准的控制,可以使用更具体的操作,例如“换衣服”或“替换背景”。

One More Thing

最后再来看一下文生图领域的格局,在AritificialAnalysis的排行榜上,GPT-4o、字节的Seedream 3.0和Recraft V3排名前三。

Black Forest Labs的上一代爆款产品FLUX.1已经相对靠后。

可以期待一下FLUX.1 Kontex的投票结果。

在线试玩https://playground.bfl.ai/image/generate

参考链接:

[1]https://x.com/bfl_ml/status/1928143010811748863

[2]https://replicate.com/blog/flux-kontext

[3]https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard

本文来自微信公众号“量子位”,作者:梦晨,36氪经授权发布。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

FLUX.1 Kontext AI生图 文本与图像输入
相关文章