四奼女火爆外网！ControlNet组合拳成果惊人，推翻AI绘画游戏规定

add

原标题：四奼女火爆外网！ControlNet组合拳成果惊人，推翻AI绘画游戏规定
金磊发自凹非寺
量子位 | 大众号 QbitAI
四位美奼女，带着AI画画在ChatGPT的热浪中杀出了一片天地。
新“魔法”一出，瞬间吸引全场眼光：

本来是一张四个闺蜜在沙滩边上的普通合影照：

在新魔法的加持下，“啪的一下”画风两极反转，瞬间进入唯美动漫风：

还无效果截然不同的，例如酱紫：

不只是动漫画风成果上的惊艳，就连人物的pose也是放弃得“原汁原味”，美女们这下子算是分分钟完成了动漫自在。
如斯成果一出，也是引来了不少网友们的围观，直呼“在线请教程”：
也有不少人呐喊能够将这套弄法商业化了：
两大AI高手联动
使出这套AI组合拳的，是一名叫“viggo”的华人小哥博主。

他所持的两大宝贝分别是：左手 StableDiffusion，右手 ControlNet。
StableDiffusion，置信得多友友们都曾经很相熟了，是按照输出提醒的文本，就能疾速出图的AI作画神器。
ControlNet，则是新晋当红AI插件（GitHub上线2天狂揽4.6K星），至关于给AI作画这事加了buff，能够精准管制手部细节和总体构造等。
小哥的做法说起也是对比简略，就是先将原图导入进去，用StableDiffusion图片转文字。
再用Text2Prompt插件拓展找到对应的症结词；最初用ControlNet插件绑定骨骼开始换症结词试成果。

固然，原图中四位美女的姿态，也能够按照小哥绘制骨骼构造的不同产生相应的改动。例如这样的：

比拟原图中人物的地位，下面这张中的人物更扩散了一些，也站到了一排；以及上半身手臂的姿态也产生了变动。
也是得益于StableDiffusion的才能，AI生成画作在画风上也能产出截然不同的成果：

成果之惊艳，曾经有网友按耐不住，照着小哥的说法“复现”了一遍，并表现：
第一次接触，很好玩，尝试复现下，觉得良好。
第一次接触，很好玩，尝试复现下，觉得良好。

不外有一说一，这位新晋AI作画顶流插件ControlNet的“神通”可不只于此。
简略几笔也可画出真人成果
例如微博博主“海辛Hyacinth”便分享了他用ControlNet插件后“草图变美女”的弄法。
他先是绘制了一张线稿：

而后是开启了ControlNet的scribble模细化成果，便失掉了这样的后果：

成果之传神，也是使人叹服了。
“海辛Hyacinth”还测试了在同一seed下不同参数的成果：

有小火伴就要问了，那假如封闭了ControlNet，成果会如何？别急，博主也做了测试，成果是这样的：

“海辛Hyacinth”的这波操作也是失掉了ControlNet作者的认可：

这也把博主自己冲动坏了，直呼“尖叫”：

固然，ControlNet还能够完成其它诸多的功用，例如在装修设计上，能够输出一张拍好的卧室图，分分钟输入草图和换了格调的成果图：

以及在ControlNet的在线网站中，也提供了许多不同功用弄法体验，感兴致的小火伴能够去尝试哦：

给AI画画模型加buff
ControlNet的原理，实质上是给预训练分散模型减少一个额定的输出，管制它生成的细节。
这里能够是各品种型的输出，作者给出来的有8种，包罗草图、边沿图象、语义联系图象、人体症结点特点、霍夫变换检测直线、深度图、人体骨骼等。
那末，让大模型学会“按输出前提生成图片”的原理是甚么呢？
ControlNet总体思绪和架构分工如下：

详细来讲，ControlNet先复制一遍分散模型的权重，失掉一个“可训练正本” （trainable copy）。
比拟之下，原分散模型通过几十亿张图片的预训练，因此参数是被“锁定”的。而这个“可训练正本”只需求在特定工作的小数据集上训练，就可以学会前提管制。
据作者表现，即便数据量很少（不超过5万张图片），模型通过训练后前提管制生成的成果也很好。
“锁定模型”和“可训练正本”经过一个1×1的卷积层衔接，名叫“0卷积层”。
0卷积层的权重和偏置初始化为0，这样在训练时速度会十分快，接近微调分散模型的速度，乃至在集体装备上训练也能够。
例如一块英伟达RTX 3090TI，用20万张图象数据训练的话只需求不到一个礼拜：

作者基于以后大火的Stable Diffusion进行了详细完成，次要架构如下：

针对不同的输出，作者也给出了对应不同的模型，生功效果也都不错。
详细成果，就如咱们方才所展现的那样了。
One More Thing
最初来一个舒适提醒……男同胞们不要感觉2月14日这个情人节过完就平安了。
接上去还可能有红色情人节（3月14日）、黑色情人节（4月14日）、玫瑰情人节（5月14日）、亲亲情人节（6月14日）……
赶快把这套“AI组合拳”学起来，送本人的老婆/女敌人一张唯美的礼物吧！
参考链接：
— 完—
《中国AIGC产业全景讲演暨AIGC 50》调研启动
谁会是中国的“ChatGPT”？最有竞争力和后劲的AIGC气力位于何方？
量子位《中国AIGC产业全景报暨AIGC 50》正式启动对外征集，期待有更多优秀的机构、产品、案例与技术可以被公众看到。
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见 ~

华人澳洲中文论坛

热图推荐

四奼女火爆外网！ControlNet组合拳成果惊人，推翻AI绘画游戏规定

发表回复

浏览过的版块

add
关注TA

图文推荐

华人澳洲中文论坛

热图推荐

四奼女火爆外网！ControlNet组合拳成果惊人，推翻AI绘画游戏规定

发表回复

浏览过的版块

add 关注TA

图文推荐

add
关注TA