斯坦福“草泥马”火了：100美元就可以比肩GPT-3.5！手机都能运转的那种

chenfl101

原标题：斯坦福“草泥马”火了：100美元就可以比肩GPT-3.5！手机都能运转的那种  
梦晨 金磊 发自 凹非寺   
量子位 | 大众号 QbitAI   
一晚上之间，大模型界又炸出个big news！  
斯坦福公布 Alpaca（羊驼，网友口中的“草泥马”）：   
只花100美元，人人均可微调Meta家70亿参数的LLaMA大模型，成果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。
  并且仍是单卡就可以运转的那种，乃至树莓派、手机都能hold住！
    只花100美元，人人均可微调Meta家70亿参数的LLaMA大模型，成果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。  
并且仍是单卡就可以运转的那种，乃至树莓派、手机都能hold住！  


还有一个更绝的“骚操作”。  
钻研所波及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。  
所以全部进程上去，就同等于GPT-3.5本人教出了个旗鼓至关的对手AI 。   
（薅羊毛高手……）  
而后团队还说，用大少数云计算平台去微调训练好的模型，本钱也不到100美元：  
复制一个GPT-3.5成果的AI，很廉价，很容易，还很小。
    复制一个GPT-3.5成果的AI，很廉价，很容易，还很小。  
并且团队还把数据集 （秒省500刀）、代码通通都给开源了，这下子人人都能去微调个成果炸裂的对话AI：   
     


名目在GitHub公布才半地利间，便曾经狂揽1800+星，火爆水平可见一斑。  
Django联结开发者乃至对斯坦福的新钻研用“惊天小事”来描述：  


不只如斯，斯坦福团队还搞了个demo，在线可玩的那种。  
话未几说，咱们当初就来看看这个“草泥马”的成果。  
比肩davinci-003的草泥马Aplaca   
在斯坦福民间的演示中，他们先小试牛刀地提了一个问题：  
甚么是羊驼？它和美洲驼的区分是甚么？
    甚么是羊驼？它和美洲驼的区分是甚么？  


草泥马Aplaca给出的谜底较为干练：  
羊驼是一种小型骆驼科植物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。
    羊驼是一种小型骆驼科植物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。  
然后又简略的引见了两者群居糊口的不同。  
一样的问题若是交给ChatGPT （GPT3.5-turbo），则谜底就不会像草泥马Aplaca那般简洁：   


对此，团队给出的解释是：  
Alpaca的谜底通常比ChatGPT短，反应出text-davinci-003的输入较短。
    Alpaca的谜底通常比ChatGPT短，反应出text-davinci-003的输入较短。  
然后团队演示了让草泥马Alpaca 写邮件：   
写一封e-mail恭喜被斯坦福大学录取的重生，并提到你很快乐能亲身见到他们。
    写一封e-mail恭喜被斯坦福大学录取的重生，并提到你很快乐能亲身见到他们。  
草泥马Alpaca关于这个工作也是信手拈来，间接给出了一个像模像样的邮件模板：  


难度再次进阶，团队这次提出了让草泥马Alpaca 写论文摘要的需要：   
写一篇通过三思而行的机器学习论文摘要，证实42是训练神经网络的最优seed。
    写一篇通过三思而行的机器学习论文摘要，证实42是训练神经网络的最优seed。  
草泥马Alpaca给出的谜底从内容下去看，十分合乎大少数论文的摘要方式：试图回答甚么问题、用了甚么办法、后果如何，以及将来瞻望。  


固然，也有急不可待的网友亲身下场实验，发现草泥马Alpaca写代码也是不在话下。  


不外即使草泥马Alpaca可以hold住大部份问题，但这其实不象征着它没出缺陷。  
例如团队便演示了一个例子，在回答“坦桑尼亚的首都是哪里”的问题时，草泥马Alpaca给出的谜底是“达累斯萨拉姆”。  
但实际上早在1975年便被“多多马”取代了。  


除此以外，若是亲身体验过草泥马Alpaca就会发现，它……巨慢：  


对此，有网友以为多是使用的人太多的缘故。  


条记本、手机、树莓派都能跑   
Meta开源的LLaMA大模型，刚公布几周就被大家支配明确了，单卡就可以运转。  
所以实践上，基于LLaMA微调的Alpaca一样能够轻松在当地部署。  
没有显卡也不妨事，苹果条记本乃至树莓派、手机均可以玩。  
在苹果条记本部署LLaMA的办法来自GitHub名目llama.cpp，使用纯C/C++做推理，还专门对ARM芯片做了优化。  
作者实测，M1芯片的MacBook Pro上便可运转，此外也反对Windows和Linux零碎。  


仍是这个C++移植版本，有人胜利在4GB内存的树莓派4上胜利运转了LLaMA的 70亿参数版本。  
虽然速度十分慢，大约10秒生成一个token （也就是一分钟蹦出4.5个单词）。   


更离谱的是仅仅2天之后，有人把LLaMA模型量化紧缩 （权重转换成更低精度的数据格局）后胜利在Pixel 6安卓手机上运转 （26秒一个token）。   
Pixel 6使用谷歌自研处置器Google Tensor，跑分红绩在骁龙865+到888之间，也就是说新一点的手机实践上都能胜任。  


微调数据集也开源   
斯坦福团队微调LLaMA的办法，来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。  


以175个问题作为种子工作，让AI本人从中组合出新的问题以及生成配套谜底实例，人工过滤掉低品质的，再把新工作添加就任务池里。  
一切这些工作，之后能够采取InstructGPT的办法让AI学会如何遵守人类指令。  
套娃几圈上去，至关于让AI本人指点本人。  


斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成为了5.2万个这样的示例搞出来的。  
这些数据一样开源了出来，而且比原论文的数据多样性更高。  


同时还给出了生成这些数据的代码，也就是说假如有人还嫌不敷，能够再去自行裁减微调数据，持续进步模型的表示。  
微调代码也会在HuggingFace民间反对LLaMA后放出。  


不外Alpaca终究的模型权重需求Meta许可能力公布，而且承继了LLaMA的非商用开源协定，阻止任何商业用处。  
而且因为微调数据使用了OpenAI的API，按照使用条款也阻止用来开发与OpenAI造成竞争的模型。  
One More Thing   
还记得AI绘画的开展历程吗？  
2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让本钱降落到可用，并由此发生爆炸式的工具翻新，让AI绘画真正进入各类任务流程。  
言语模型的本钱，如今也降落到了集体电子装备可用的水平。  
最初仍是由Django框架开创人Simon Willison喊出：  
大言语模型的Stable Diffusion时辰到了。
    大言语模型的Stable Diffusion时辰到了。  
— 完—   
「中国AIGC产业峰会」启动  
邀您共襄盛举  
「中国AIGC产业峰会」行将在往年3月举行，峰会将约请AIGC产业相干畛域的专家学者，独特讨论生成新世界的过来、当初和将来。   
峰会上还将公布 《中国AIGC产业全景讲演暨AIGC 50》，片面平面描画我国以后AIGC产业的竞争力求谱。点击链接或下方图片查看大会详情：   
被ChatGPT带飞的AIGC如安在中国落地？量子位邀你独特参预中国AIGC产业峰会   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~