|
|
本文来自微信大众号：萧良善（ID：giftxiao），作者：萧良善，头图来自：视觉中国
我从2020年开始做AI传布，因为是非专业出身，这几年始终在致力学习和消化，也但愿让更多非专业人士能懂AI。
ChatGPT衰亡后，我以最大热心去浏览论文和各种专业资料，包罗重复求教大模型标的目的的的专家，对ChatGPT逐步造成了一些根底认知。由于比来不少非AI专业的敌人对ChatGPT很感兴致，明天分享出来但愿能对大家有用。
一、ChatGPT不是聊天机器人
ChatGPT的内核是大言语模型（LLM，也称大模型），实质是“生成”（Generation），对话只是个表皮。所以ChatGPT用在其余畛域，好比微软将其与办公软件结合（智能写邮件），与搜寻引擎结合，这是再正常不外的事件。
也不要由于“生成”，而对AI开始诧异。遮蔽掉句子中的一个词，让AI进行填空也是“生成”，这类完形填空曾经是AI畛域里存在几十年的经典工作。只不外之前AI只需求按照上下文“猜出”两头那一个词，当初要“猜出”前面一堆的词，乃至造成一篇通畅的文章。
完形填空这个逻辑还能套用在AI作画上，遮掉一张人脸照片中的眼睛，AI能够凭借数学计算补上一双它想象出的眼睛。AI作画就是靠这样一点点地料想，不停地做拼图，最初造成一张全新的画面。
二、ChatGPT不是忽然冒出来的，而是学界继续钻研的后果，是大模型线路的成功
ChatGPT开展的本源是预训练模型的开展。预训练模型首先要归功于谷歌2017年提出transformer架构，发作点是OpenAI在2020年提出的GPT-3，1750亿的超大参数带来了得多超乎想象的才能，AI开始可以写作文、写代码等，已经惹起科技圈的不少探讨。
预训练模型是AI的全新钻研范式，可以让AI从传统工作型模型（一千个工作需求一千个模型，研发本钱高），走向一个模型解决多种工作（先训练一个根底模型，而后再针对上游工作进行微调），大模型更是如斯，其指标是one for all，一个模型解决一切工作，这就离通用人工智能不远了。
但不是一切人都看好大模型，暴力美学毕竟不太优雅，一些顶级AI学者在尝试其余路途，好比朱松纯始终在倡导小数据、大工作。他回国建设了北京通用人工智能钻研院，其愿景和OpenAI极其类似，都是开展通用人工智能。
三、ChatGPT是伟大的AI产品，但未必是0-1的原始翻新。
图灵奖得主杨立昆比来批判ChatGPT不足翻新，虽然听起来有点酸，但也反应了一种首要的视角。关于AI钻研者来讲，真实的原始翻新，是CNN、BP、GAN、Transformer这样的严重实践翻新，他们构成AI的基石。
ChatGPT的伟大更可能是工程上的，证实了大模型+HFRL（基于人类反馈的强化学习）的技术线路的胜利。它既不是HFRL的提出者，那是谷歌在2017年提出来的；ChatGPT重点使用的强化学习算法PPO，也是业界的成熟算法。
杨立昆的批判其实也能够用于AlphaGo，得多人会把它当成AI的严重翻新，当成AI行业的里程碑，其实它只是强化学习的一个运用，原始翻新无限。（这里多说一句，腾讯跟随AlphaGo做了绝艺，那翻新意义就更为无限了）
四、ChatGPT的胜利面前，是OpenAI坚持走不寻常路。
谷歌基于Transformer做了BERT，间接改动了天然言语了解（NLU）这个畛域，惹起了少数AI钻研者的跟随。但OpenAI另辟蹊径，不是去做了解，而是做生成（generation），所以有了GPT（Generative Pre-trained Transformer）系列模型。
从GPT-1到GPT-3，OpenAI做了两年多时间，用鼎力出奇观的方法（GPT-3训练本钱高达百万乃至千万美金），证实了大模型的可行性，参数从1.17亿飙升至1750亿，也似乎证实了参数越多大，AI才能越强。也因此，在GPT-3胜利后，包罗谷歌在内竞相追赶做大模型，参数高达惊人的万亿、乃至10万亿范围，掀起了一场参数比赛。
但这时候候，反而是OpenAI寂静了上去，没有再推高参数，而是又用了近两年时间，将人类反馈和强化学习引入大模型。业界虽然也有人在做相似任务，将常识融入大模型，将强化学习引入大模型…但大都是摸索性的，没有大手笔和持之以恒的投入，由于这条技术线路始终未被无效证实。
Open AI连续鼎力出奇观的办法，破费重金，用人工标注少量数据，从而跑通了这条技术线路。因为论文没有地下，咱们目前无从知道标注量，但数量确定是极大的，本钱是极高的。能够左证的是，Open AI这几年只要GPT、DALL等多数几个名目，但却破费了数亿美金，以前乃至受到不少媒体的质疑。
五、ChatGPT当初袒露出来的问题，大多不是真问题
对ChatGPT的得多批判是，它生成的内容常常是不真正的，或者是带有成见的，ChatGPT颇有可能会净化互联网。作为一个技术提高主义者，我偏向于以为这样的指摘除了展示批判者的品德自卑感外，意义不大。由于AI技术一大特征就是它可以疾速提高，昨天的问题到明天或许有些困扰，但到了今天就不是问题。
GPT-3出来时，已经泛起过一个普遍流传的质疑，假如你问它太阳有几只眼睛，它会回答一只或两只，批判者以此来证实GPT-3不足知识。GPT-3也常常泛起一本正派的胡言乱语的景象，切题万里或者内容经不起验证。
但在ChatGPT上，这些已不是大问题，它不免仍是会犯错，但大体仍是较为公道、有按照的，它乃至具有了自我纠正的才能。假如常常使用ChatGPT，还会发现，ChatGPT特别会讲政治正确的话，会搞均衡，防止歧视和成见。好比当你问A和B谁更好时，它会回答说各有劣势，这就是不停训练优化的后果。根据这样的速度开展，ChatGPT的感性齐备水平会超乎想象。
固然，ChatGPT仍是会被不妥利用，好比一些先生拿去写功课造假，但很难算是ChatGPT的错……互联网的泛起，让剽窃变得轻而易举，让低品质信息众多，咱们或许会偶然复古纸质时期，但不大可能回去。ChatGPT只是一个工具，如何利用好工具，这是人类要面临的问题，而不是工具自身的问题。何况，还有以魔法来反抗魔法，既然能够有ChatGPT生成内容，那一样能够有模型来做反抗性的检测。
ChatGPT无疑致使人员失业——这是技术提高必定带来的副产品，曾经在人类历史中屡次重演。ChatGPT注定会代替某些低程度、反复性的休息，让一些岗位隐没，但也会带来一些新的、更具发明性的岗位。从农业时期进入工业时期，再从信息时期进入AI时期，人类的任务和糊口注定迎来剧变，咱们需求踊跃拥抱变动，而不是期待回到过来。
六、中国企业没有做出ChatGPT，能够骂，但不值得鞭策
中国在AI畛域不足原始翻新、跟随美国确实是现状，要剖析缘故能说出一大堆，但咱们不用因此就妄自尊大。
从寰球来看，AI行业曾经造成了一超一强的格式，一超指美国，一强指中国，其余国度缺乏道矣（虽然加拿大有Hinton，英国有DeepMind），由于只要这两个国度才造成了AI的片面钻研和普遍的产业运用，这和互联网行业的开展严密相干。固然，更是由于AI行业的极致凋谢，AI钻研没有机密可言，这才让AI技术开展迅速，突飞猛进在这里不是描述词，一些榜单成就的刷新乃至以天来计算。
咱们虽然没有第一个推出ChatGPT，但其实不代表咱们这方面的任务处于空白或者卡脖子形态（AI和芯片全然不同）。能够肯定地说，中国版的ChatGPT的推出只是时间问题，几个月或者至多一年，由于咱们曾经在路上了。
ChatGPT的中心是GPT系列模型，中国一些企业曾经打造出GPT-3水准的大模型，重点是要再参加SFT（Supervised Fine-Tuning）和HFRL。这当然不是容易的事件，但在技术线路曾经被证实的状况下，确定能够完成，别疑心中国人的工程才能。
先写到这里，最初说说集体感想。
20年我刚入AI行业时，全部行业充溢了灰心的论调，深度学习撞墙，AI泡沫行将幻灭，尤为是以AI四小龙流血上市、大厂裁撤AI Lab标记，AI行业恍如危如累卵……但ChatGPT等AIGC技术在2022年的泛起，一扫阴郁，AI恍如重生，已玉成民热议的话题。
我置信这类轮回还会不停泛起，AI技术目前远远没有达到成熟的水平，AI产业还极其稚嫩。但这可能就是AI的魅力，当你认为AI技术不外如斯、AI产业就是这个模样的时分，某一项AI技术的冲破，突然关上了新的天空，让外人看起来石破惊天。
（由于非AI专业出身，上述观念不免有错，欢送专家批判斧正。）
本文来自微信大众号：萧良善（ID：giftxiao），作者：萧良善
本内容为作者独立观念，不代表虎嗅立场。未经允许不得转载，受权事宜请分割 [email protected] |
|
注册会员