让AI学会画手的办法来了，给输出加个buff就可以管制生成细节，华人小哥出品丨GitHub 4.6k星

zpelj

原标题：让AI学会画手的办法来了，给输出加个buff就可以管制生成细节，华人小哥出品丨GitHub 4.6k星
萧箫发自凹非寺
量子位 | 大众号 QbitAI
给画画AI加个buff，画起图象就像开了挂。
加集体体骨骼绑定buff，Stable Diffusion间接快进到生成3D 动漫：

加个笼统到爆的草图buff，AI变着格调生成“彻底统一”的狗子：

就连号称“AI杀手”的 手部细节，也能在管制之下画得活灵活现：
这个名叫ControlNet的新AI插件，能够说是给画画AI来了最初的“临门一脚”——
本来AI无奈管制的手部细节、总体架构，有了它之后，加之Stable Diffusion这样的分散模型，足以生成任何人们想要的图象。
   收回不到两天，ControlNet就在GitHub上火了，目前曾经狂揽4.6k星：
△“让咱们管制分散模型”
各种成果图更是在推特上爆火，试玩过的网友直呼：
游戏完结！
游戏完结！

所以，这个ControlNet到底给分散模型加了甚么buff？
给AI画画模型加buff
ControlNet的原理，实质上是给预训练 分散模型减少一个额定的输出，管制它生成的细节。
这里能够是各品种型的输出，作者给出来的有8种，包罗草图、边沿图象、语义联系图象、人体症结点特点、霍夫变换检测直线、深度图、人体骨骼等。
那末，让大模型学会“按输出前提生成图片”的原理是甚么呢？
ControlNet总体思绪和架构分工如下：

详细来讲，ControlNet先复制一遍分散模型的权重，失掉一个“可训练正本” （trainable copy）。
比拟之下，原分散模型通过几十亿张图片的预训练，因此参数是被“锁定”的。而这个“可训练正本”只需求在特定工作的小数据集上训练，就可以学会前提管制。
据作者表现，即便数据量很少（不超过5万张图片），模型通过训练后前提管制生成的成果也很好。
“锁定模型”和“可训练正本”经过一个1×1的卷积层衔接，名叫“0卷积层”。
0卷积层的权重和偏置初始化为0，这样在训练时速度会十分快，接近微调分散模型的速度，乃至在集体装备上训练也能够。
例如一块英伟达RTX 3090TI，用20万张图象数据训练的话只需求不到一个礼拜：

作者基于以后大火的Stable Diffusion进行了详细完成，次要架构如下：

针对不同的输出，作者也给出了对应不同的模型，生功效果也都不错。
例如这是采取Canny边沿检测算法检测出的边沿，用于生成图象：
这是基于霍夫变换的直线检测算法生成的直线草图，用于生成各种格调的室内设计：
固然，本人作画也能够，例如这是基于用户草图生成的小龟：
提取深度图，并让AI生成一幅类似的图象，间接举一反五：

语义联系下的游泳池图象，不只水里有倒影细节，修建也变动多样：
不外目前来看，最受欢送的仍是基于人体姿势估量算法，管制动漫人物的举措生成：

看到这里，是否曾经有了斗胆的设法？（手动狗头）
曾开发爆火AI上色插件

这个名目的作者Lvmin Zhang，2021年本科结业于东吴大学，目前在斯坦福大学读博。
他最知名的名目之一，是2017年开发的AI上色插件style2paints，目前GitHub上曾经有15.9k星。
style2paints也通过了好几回迭代，目前行将更新到第五版。
这是第四版的成果，只需求线稿，AI就可以自动给你的图象实现上色：

除了这个名目之外，他也是CV顶会的常客了。

One More Thing
值得一提的是，当初曾经有基于ControlNet的国际产品上线了。
这个产品名叫稿定AI，包孕照片转插画、插画线稿上色、插画优化创新等功用，恰是基于ControlNet打造。
作画成果大略是酱婶的：

感兴致的小火伴们能够去试玩一波了~
名目地址：
http://github.com/lllyasviel/ControlNet
参考链接：
[1]http://lllyasviel.github.io/Style2PaintsResearch/
[2]http://twitter.com/search?q=controlnet&src=typed_query
[3]http://www.gaoding.com/ai
— 完—
《中国AIGC产业全景讲演暨AIGC 50》调研启动
谁会是中国的“ChatGPT”？最有竞争力和后劲的AIGC气力位于何方？
量子位《中国AIGC产业全景报暨AIGC 50》正式启动对外征集，期待有更多优秀的机构、产品、案例与技术可以被公众看到。
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见 ~

华人澳洲中文论坛

热图推荐

让AI学会画手的办法来了，给输出加个buff就可以管制生成细节，华人小哥出品丨GitHub 4.6k星

发表回复

浏览过的版块

zpelj
关注TA

图文推荐

撞穿学校栅栏害死十一岁男孩的司机不必坐牢

全科医生正告花粉症时节正在好转

新西兰总理：出世在新西兰的新纳粹Thomas S

新州护士和助产士承受暂时加薪3%的前提

新纳粹份子如何利用“普通父母”的掩护在反

华人澳洲中文论坛

热图推荐

让AI学会画手的办法来了，给输出加个buff就可以管制生成细节，华人小哥出品丨GitHub 4.6k星

发表回复

浏览过的版块

zpelj 关注TA

图文推荐

撞穿学校栅栏害死十一岁男孩的司机不必坐牢

全科医生正告花粉症时节正在好转

新西兰总理：出世在新西兰的新纳粹Thomas S

新州护士和助产士承受暂时加薪3%的前提

新纳粹份子如何利用“普通父母”的掩护在反

zpelj
关注TA