首页 最新 热门 推荐

  • 首页
  • 最新
  • 热门
  • 推荐

【AI绘画】Comfyui图生图基础工作流:图生图+Lora+controlnet及局部重绘工作流(文末自取)

  • 25-02-19 15:21
  • 4120
  • 5074
blog.csdn.net

大家好,我是写编程的木木。

上一篇我们说到在comfyui中去搭建一个在webui的基础文生图的工作流,包括文生图+lora+controlnet的整个工作流。

那么这期我们来讲一下图生图工作流,以及加上lora加上controlnet,以及图生图的局部重绘的完整工作流。

我们先加载文生图的基础工作流:

在这里插入图片描述

图生图工作流及参数

我们知道图生图的工作流,其实是在文生图的基础上增加一个图像输入的节点,在文生图的基础上,通过控制图像输入,vae编码传到潜在空间,来完成图生图的生图流程。

那么我们就文生图的工作流上添加“加载图像”、“vae编码”,我们新建节点“加载图像”、“vae编码”:

在这里插入图片描述

我们知道sd的图生图其实也是图像的一次缩放,所以,我们还需要添加一个图像缩放,添加完以上节点后,我们将对应的大模型上的vae链接到“vae解码”节点上的“vae”,然后加载图像、图像缩放的“图像”连接起来,传到采样器的Latent,之前链接Latent图像尺寸“空Latent”就可以删掉了。

然后,我们点击生成,发现得到的图像和我们上传的图像不一样,这里涉及到的一个“降噪”的概念,降噪相当于我们在webui的“重绘幅度”,数值越大,图像越不像,数值越小,相似度越高。

这里我们参数为1,降噪幅度太大,和原图相差大,那么我们就可以把“降噪”数值调小一点,我们试一下0.3比较合适(这个数值大家可自行尝试),得到如下图像,相似度还是很高的:

在这里插入图片描述

·图生图+Lora等模型风格尝试

我们也可以改变不同的模型,比如二次元的大模型和Lora模型,也可以得到不同风格的图像:

在这里插入图片描述

原图左,生图右:

在这里插入图片描述

以上就是图生图+Lora模型的完整工作流啦!

·局部重绘+controlnet

接下来我们再讲一个图生图+局部重绘,局部重绘,我们知道是在输入图像上添加一个局部蒙版,对蒙版内或者蒙版外进行重绘。那么我们就在加载图像的节点里的图添加蒙版,同时,因为我们需要一个带有遮罩参数设置的vae解码器,那我们添加一个“vae内补编码器”节点来替换原有的“vae编码”节点,“vae内补编码器”中的“遮罩延展”是蒙版部分周围的模糊程度。原有的“vae编码器”我们就可以删掉了:

在这里插入图片描述

然后我们链接对应的vae大大模型,遮罩链接到加载图像节点,对应的图像节点还是链接对应的图像就好了,如果你还想对遮罩进行预览,可以再添“遮罩到图像”节点连接“图像预览”的节点即可。

我们点击选择加载图像节点-右键-在遮罩编辑器中打开,对图像进行遮罩绘制:

在这里插入图片描述

在这里插入图片描述

打开编辑器可以看到左下角红框两个是绘制蒙版的大小和透明度,右侧“save…”这个按钮是绘制好了点击保存就可以回到工作流界面,可以看到蒙版就添加上了,如下:

在这里插入图片描述

选择好模型测试一下效果:

在这里插入图片描述

其实我们发现,这样直接图生图的局部重绘感觉不太行,就是得到的脸,拼接得不太合理,而且还有画面破裂之类的问题。

那这时候我们需要再添加一个controlnet节点来辅助我们的生图:

在这里插入图片描述

添加controlnet节点后,我们将正反提示词链接点连接到controlnet上,输出链接到采样器上。

然后controlnet模型,我们链接到加载器上,aux处理器的图像,我们连接到图像出来的“系数缩放”节点的“图像”。

在这里插入图片描述

原图左,生图右,通过局部重绘就把原来的图像换了一张脸:

在这里插入图片描述

以上就是我们的局部重绘+controlnet的工作流了,很多同学因为没有添加“controlnet”节点,进行局部重绘,会出现效果不是很好的情况,这个工作流就给大家解决这个问题了。

这个局部重绘工作流适合很多场景,如电商场景,人物换脸,其他图像修复等,都很适用~希望大家多多尝试。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

注:本文转载自blog.csdn.net的写编程的木木的文章"https://blog.csdn.net/HJS123456780/article/details/142128160"。版权归原作者所有,此博客不拥有其著作权,亦不承担相应法律责任。如有侵权,请联系我们删除。
复制链接
复制链接
相关推荐
发表评论
登录后才能发表评论和回复 注册

/ 登录

评论记录:

未查询到任何数据!
回复评论:

分类栏目

后端 (14832) 前端 (14280) 移动开发 (3760) 编程语言 (3851) Java (3904) Python (3298) 人工智能 (10119) AIGC (2810) 大数据 (3499) 数据库 (3945) 数据结构与算法 (3757) 音视频 (2669) 云原生 (3145) 云平台 (2965) 前沿技术 (2993) 开源 (2160) 小程序 (2860) 运维 (2533) 服务器 (2698) 操作系统 (2325) 硬件开发 (2491) 嵌入式 (2955) 微软技术 (2769) 软件工程 (2056) 测试 (2865) 网络空间安全 (2948) 网络与通信 (2797) 用户体验设计 (2592) 学习和成长 (2593) 搜索 (2744) 开发工具 (7108) 游戏 (2829) HarmonyOS (2935) 区块链 (2782) 数学 (3112) 3C硬件 (2759) 资讯 (2909) Android (4709) iOS (1850) 代码人生 (3043) 阅读 (2841)

热门文章

117
前沿技术
关于我们 隐私政策 免责声明 联系我们
Copyright © 2020-2025 蚁人论坛 (iYenn.com) All Rights Reserved.
Scroll to Top