四奼女火爆外网！ControlNet组合拳成果惊人，推翻AI绘画游戏规定

add

原标题：四奼女火爆外网！ControlNet组合拳成果惊人，推翻AI绘画游戏规定  
金磊 发自 凹非寺   
量子位 | 大众号 QbitAI   
四位美奼女，带着AI画画在ChatGPT的热浪中杀出了一片天地。  
新“魔法”一出，瞬间吸引全场眼光：   


本来是一张四个闺蜜在沙滩边上的普通合影照：  


在新魔法的加持下，“啪的一下”画风两极反转，瞬间进入唯美动漫风：  


     还无效果截然不同的，例如酱紫：  


不只是动漫画风成果上的惊艳，就连人物的pose也是放弃得“原汁原味”，美女们这下子算是分分钟完成了动漫自在。  
如斯成果一出，也是引来了不少网友们的围观，直呼“在线请教程”：  
也有不少人呐喊能够将这套弄法商业化了：  
两大AI高手联动   
使出这套AI组合拳的，是一名叫“viggo”的华人小哥博主。  


他所持的两大宝贝分别是：左手 StableDiffusion，右手 ControlNet。   
StableDiffusion，置信得多友友们都曾经很相熟了，是按照输出提醒的文本，就能疾速出图的AI作画神器。  
ControlNet，则是新晋当红AI插件 （GitHub上线2天狂揽4.6K星），至关于给AI作画这事加了buff，能够精准管制手部细节和总体构造等。   
小哥的做法说起也是对比简略，就是先将原图导入进去，用StableDiffusion图片转文字。  
再用Text2Prompt插件拓展找到对应的症结词；最初用ControlNet插件绑定骨骼开始换症结词试成果。  


固然，原图中四位美女的姿态，也能够按照小哥绘制骨骼构造的不同产生相应的改动。例如这样的：  


比拟原图中人物的地位，下面这张中的人物更扩散了一些，也站到了一排；以及上半身手臂的姿态也产生了变动。  
也是得益于StableDiffusion的才能，AI生成画作在画风上也能产出截然不同的成果：  


成果之惊艳，曾经有网友按耐不住，照着小哥的说法“复现”了一遍，并表现：  
第一次接触，很好玩，尝试复现下，觉得良好。
    第一次接触，很好玩，尝试复现下，觉得良好。  


不外有一说一，这位新晋AI作画顶流插件ControlNet的“神通”可不只于此。  
简略几笔也可画出真人成果   
例如微博博主“海辛Hyacinth”便分享了他用ControlNet插件后“草图变美女”的弄法。  
他先是绘制了一张线稿：  


而后是开启了ControlNet的scribble模细化成果，便失掉了这样的后果：  


成果之传神，也是使人叹服了。  
“海辛Hyacinth”还测试了在同一seed下不同参数的成果：  


有小火伴就要问了，那假如封闭了ControlNet，成果会如何？别急，博主也做了测试，成果是这样的：  


“海辛Hyacinth”的这波操作也是失掉了ControlNet作者的认可：  


这也把博主自己冲动坏了，直呼“尖叫”：  


固然，ControlNet还能够完成其它诸多的功用，例如在装修设计上，能够输出一张拍好的卧室图，分分钟输入草图和换了格调的成果图：  


以及在ControlNet的在线网站中，也提供了许多不同功用弄法体验，感兴致的小火伴能够去尝试哦：  


给AI画画模型加buff   
ControlNet的原理，实质上是给预训练分散模型减少一个额定的输出，管制它生成的细节。  
这里能够是各品种型的输出，作者给出来的有8种，包罗草图、边沿图象、语义联系图象、人体症结点特点、霍夫变换检测直线、深度图、人体骨骼等。  
那末，让大模型学会“按输出前提生成图片”的原理是甚么呢？  
ControlNet总体思绪和架构分工如下：  


详细来讲，ControlNet先复制一遍分散模型的权重，失掉一个“可训练正本” （trainable copy）。   
比拟之下，原分散模型通过几十亿张图片的预训练，因此参数是被“锁定”的。而这个“可训练正本”只需求在特定工作的小数据集上训练，就可以学会前提管制。  
据作者表现，即便数据量很少 （不超过5万张图片），模型通过训练后前提管制生成的成果也很好。   
“锁定模型”和“可训练正本”经过一个1×1的卷积层衔接，名叫“0卷积层”。  
0卷积层的权重和偏置初始化为0，这样在训练时速度会十分快，接近微调分散模型的速度，乃至在集体装备上训练也能够。  
例如一块英伟达RTX 3090TI，用20万张图象数据训练的话只需求不到一个礼拜：  


作者基于以后大火的Stable Diffusion进行了详细完成，次要架构如下：  


针对不同的输出，作者也给出了对应不同的模型，生功效果也都不错。  
详细成果，就如咱们方才所展现的那样了。  
One More Thing   
最初来一个舒适提醒……男同胞们不要感觉2月14日这个情人节过完就平安了 。   
接上去还可能有红色情人节 （3月14日）、黑色情人节 （4月14日）、玫瑰情人节 （5月14日）、亲亲情人节 （6月14日）……   
赶快把这套“AI组合拳”学起来，送本人的老婆/女敌人一张唯美的礼物吧！  
参考链接：  
— 完—   
《中国AIGC产业全景讲演暨AIGC 50》调研启动  
谁会是中国的“ChatGPT”？最有竞争力和后劲的AIGC气力位于何方？  
量子位《中国AIGC产业全景报暨AIGC 50》正式启动对外征集，期待有更多优秀的机构、产品、案例与技术可以被公众看到。   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~