魔搭ModelScope社区 03月04日
高效部署通义万相Wan2.1:ComfyUI文生/图生视频实战,工作流直取!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文详细介绍了如何在魔搭免费GPU算力环境和本地终端环境部署运行ComfyUI工作流,以玩转通义万相Wan2.1的文生视频和图生视频案例。文章提供了清晰的步骤指南,包括ComfyUI及其依赖的安装、模型文件的下载与放置,以及工作流的启动和运行。针对文生视频,以wan2.1-t2v-1.3b模型为例,演示了在魔搭Notebook上的操作流程。对于图生视频,则以wan2.1-i2v-14b模型为例,讲解了本地环境的部署和运行,尤其强调了对显卡配置的要求。通过本文,读者可以轻松上手,体验ComfyUI和通义万相Wan2.1带来的创作乐趣。

🖥️ 介绍了在魔搭Notebook上运行ComfyUI文生视频工作流的详细步骤,包括启动Notebook、克隆ComfyUI仓库、安装依赖以及下载并放置文生视频模型(wan2.1-t2v-1.3b)的文本编码器、扩散模型和视频解码器组件。

🖼️ 阐述了本地搭建ComfyUI图生视频工作流的流程,重点强调了对显卡显存的要求(生成512*512视频需44G显存,1280*720需53GB),并详细说明了如何下载和放置图生视频模型(wan2.1-i2v-14b)的图片编码器、文本编码器、视频扩散模型和视频解码器组件。

🚀 提供了启动ComfyUI服务的统一方法,即通过`python main.py`命令启动服务,并通过http://127.0.0.1:8188链接进入ComfyUI界面,方便用户进行后续的工作流操作。

⚙️ 说明了如何下载和导入Wan2.1的示例工作流文件到ComfyUI界面,以及如何检查模型文件是否存在,并执行工作流开始视频生成,帮助用户快速上手实践。

原创 魔搭开发者 2025-03-03 21:02 浙江

手把手教你分别在魔搭免费GPU算力环境、本地终端环境部署运行ComfyUI工作流,玩转Wan2.1文生视频、图生视频案例实践

通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程? 


本文将手把手教你分别在魔搭免费GPU算力环境、本地环境部署运行ComfyUI工作流,玩转Wan2.1文生视频、图生视频案例实践。


01


魔搭Notebook运行ComfyUI文生视频工作流



step1  如何在魔搭中启动Notebook


1、打开ModelScope 魔搭社区首页,点击我的Notebook



2、魔搭社区免费提供的GPU免费算力上体验,选择方式二启动后点击查看Notebook


   



step2  安装ComfyUI及其依赖


1、打开Notebook终端

在页面中选择Terminal


2、克隆ComfyUI仓库

在Notebook终端中运行如下命令,将官方的ComfyUI的仓库克隆下来:

      git clone https://github.com/comfyanonymous/ComfyUI.git


    克隆过程中可能遇到这个报错,提示“RPC失败”:


    这是因为http协议版本的问题导致网络连接失败,版本降低至1.1即可解决。命令如下:

        git config --global http.version HTTP/1.1  git clone https://github.com/comfyanonymous/ComfyUI.git  git config --global http.version HTTP/2


      完成的界面像这样:


      3、安装依赖

      使用pip安装运行ComfyUI服务所需的环境依赖:

        cd ComfyUIpip install -r requirements.txt


        4、验证安装

        运行以下命令启动ComfyUI服务,测试是否成功安装。

          python main.py


          如果服务成功启动,将在终端中看到http://127.0.0.1:8188的提示


          点击这个链接就可以进入comfyui的界面啦!


          step3  文生视频工作流

          以通义万相wan2.1-t2v-1.3b文生视频模型为例,演示如何运行工作流。


          1、下载模型

          wan2.1-t2v-1.3b文生视频模型包含3个组件,文本编码器、扩散模型和视频解码器。我们需要从魔搭模型库中下载3个组件对应的模型文件,并将这些模型文件放置到对应文件夹:


            文本编码器:

              split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders

            扩散模型

              split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors → ComfyUI/models/diffusion_models

            视频解码器

              split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae


          命令行如下:

            # 文本编码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/# 扩散模型modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors --local_dir ./models/diffusion_models/# 视频解码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

            2、启动comfyui

            运行以下命令启动ComfyUI服务:

              python main.py


              点击http://127.0.0.1:8188链接进入comfyui的界面



              3、运行文生视频工作流

              ComfyUI启动后会自动打开一个默认的工作流,可以不用管它。我们需要下载wan2.1的示例工作流文件,然后将文件拖入ComfyUI界面。


              wan2.1的示例工作流文件:

              https://modelscope.cn/notebook/share/ipynb/5eee8a46/text_to_video_wan.ipynb


              拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。



              视频生成完成之后的页面:


              4、运行日志查看

              终端界面上可以查看实时运行的日志:



              nvidia-smi命令可以查看显存占用:



              02


              本地搭建ComfyUI图生视频工作流



              如果你自己拥有GPU,则可以选择在本地部署工作流。本节以通义万相wan2.1-i2v-14b的图生视频模型为例,教你一步步用命令行运行图生视频的工作流。


              step1  检查显卡信息

              要运行万相wan2.1-i2v-14b文生视频ComfyUI工作流,需要高规格的显卡。生成512*512大小的视频,显存大约需要44G;生成1280*720尺寸的视频,显存需要53GB。运行nvidia-smi命令,检查显卡是否符合要求。



              step2  安装ComfyUI及其依赖

              此步骤同上,请查阅上一节step2。


              step3  图生视频工作流


              1、模型下载

              wan2.1-i2v-1.3b文生视频模型包含4个组件,图片编码器、文本编码器、视频扩散模型和视频解码器。我们需要从魔搭模型库中下载4个组件对应的模型文件,并将这些模型文件放置到对应文件夹:

                图片编码器

                  split_files/clip_vision/clip_vision_h.safetensors →ComfyUI/models/clip_vision

                文本编码器

                  split_files/text_encoders/umt5_xxl_fp16.safetensors →ComfyUI/models/text_encoders

                视频扩散模型

                  split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors → ComfyUI/models/diffusion_models

                视频解码器

                  split_files/vae/wan_2.1_vae.safetensors → ComfyUI/models/vae


              命令行如下:

                # 图片编码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/clip_vision/clip_vision_h.safetensors --local_dir ./models/clip_vision/# 文本编码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/text_encoders/umt5_xxl_fp16.safetensors --local_dir ./models/text_encoders/# 视频扩散模型modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/diffusion_models/wan2.1_i2v_720p_14B_bf16.safetensors --local_dir ./models/diffusion_models/# 视频解码器modelscope download --model Comfy-Org/Wan_2.1_ComfyUI_repackaged --include split_files/vae/wan_2.1_vae.safetensors --local_dir ./models/vae/

                2、启动comfyui

                运行以下命令启动ComfyUI服务:

                  python main.py


                  点击http://127.0.0.1:8188链接就可以进入comfyui的界面


                  3、上传工作流运行

                  下载wan2.1的图生视频示例工作流文件,然后将文件拖入ComfyUI界面。


                  wan2.1的示例工作流文件:

                  https://modelscope.cn/notebook/share/ipynb/0e5bbc8b/image_to_video_wan_example.ipynb


                  拖入后在界面中就可以看到工作流的样子,分别点击三个模型的下拉选项,检查一下模型文件是否存在,再点击“执行”开始视频生成。






                  ?点击关注ModelScope公众号获取

                  更多技术信息~




                  阅读原文

                  跳转微信打开

                  Fish AI Reader

                  Fish AI Reader

                  AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

                  FishAI

                  FishAI

                  鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

                  联系邮箱 441953276@qq.com

                  相关标签

                  ComfyUI 通义万相Wan2.1 文生视频 图生视频 魔搭
                  相关文章