阿里50亿参数AI画画模型火了！将图象拆分再自在重组，达摩院副院长率队打造

xdyin

原标题：阿里50亿参数AI画画模型火了！将图象拆分再自在重组，达摩院副院长率队打造  
明敏 发自 凹非寺   
量子位 | 大众号 QbitAI   
AI画画通用模型，新增一员大将！  
由阿里达摩院副院长 周靖人等人打造的可控分散模型 Composer，一经公布就小火了一把。   


这个模型由 50亿参数训练而来，和Stable Diffusion原理不同。   
它 更进一步把训练图象拆解成为了多个元素，而后基于这些元素训练分散模型，让它们可以灵敏组合。   
由此一来，模型的发明才能就比仅基于图象大得多。  
假如有100张能拆分红8个元素的图象，那末就可以生成一个数量为100的8次方的后果组合。  


     网友们看了纷纭表现，AI画画开展速度也太快了！  


团队表现，模型的训练和推理代码都在路上了。  
无限伎俩的有限使用   
该框架的中心思想是 组合性（compositionality），模型名字就叫做 Composer。   
视察到现下得多AI画画模型，在细节的可控性上尚无做到很好，好比精确改动色彩、外形等。  
钻研团队以为，想要完成图象的可控生成，不克不及依赖于对模型的调理，重点应该放在组合性上，这类形式能够将图象的发明力晋升到指数级。  
援用言语学巨匠诺姆·乔姆斯基的经典语录来解释模型，就是：  
无限伎俩的有限使用。
    无限伎俩的有限使用。  
详细来看，该模型就是将每个训练图象拆解成一系列根底元素，如蒙幅员、草稿图、文字形容等，用它们来训练一个分散模型。  


而后让这些被拆分的元素，在推理阶段灵敏组合，生成少量新的图象输入。  


它能够 反对多种方式作为输出。好比文字形容作为全局信息，深度图和草图作为局部疏导，色彩直方图为低级细节等。   
在包管生成图象可控的根底上，作为一个通用框架，该模型还能不必再训练就能实现少量经典生成工作。  
举例来看，图（a）中，最左侧的是原图，前面4个是经过对Composer不同子集的表现进行调理而生成的新后果。  
图（b）展现的是图象插值的后果。  


图象重构的话是酱婶儿的，Composer可以简略地改动图象表现来从新配置图象，好比草稿图和联系图。  


还有对图象的特定部份进行编纂。  
好比给蛋糕派换口味、把珍珠耳环奼女的脸换成梵高、让兔子长一张熊猫脸等。  


对比经典的图象生成工作也能应战，并且无需再训练。  




团队表现，现有效果还存在一定局限性，好比在繁多前提输出的状况下，生功效果不是很好。以及输出不同语义的图象和文本嵌入时，生成后果会升高对文本嵌入的权重。  
而针对AI画画模型都需求面对的危险问题，团队表现为防止被滥用，他们会在地下模型前先创立一个过滤版本。  
达摩院副院长带队   
该钻研由阿里及蚂蚁团队实现。  
通信作者为 周靖人。   


他现任阿里达摩院副院长、阿里云智能CTO，是IEEE Fellow。  
2004年于哥伦比亚大学获取计算机博士学位，后参加微软负责研发合伙人。  
2015年，周靖人参加阿里巴巴团体，前后担任过达摩院智能计算试验室、大数据智能计算平台、搜寻保举事业部等。  
论文一作 Huang Lianghua一样来自达摩院，钻研标的目的为扩张模型范围和数据来表现学习和内容生成。   


论文地址：   
http://arxiv.org/abs/2302.09778  
GitHub地址：   
http://github.com/damo-vilab/composer  
— 完—   
《中国AIGC产业全景讲演暨AIGC 50》调研启动  
谁会是中国的“ChatGPT”？最有竞争力和后劲的AIGC气力位于何方？  
量子位《中国AIGC产业全景报暨AIGC 50》正式启动对外征集，期待有更多优秀的机构、产品、案例与技术可以被公众看到。   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~