恐惧的 GPT-4

DSADAS

作者：万连山
来源：格隆（ID：guru-lama）
NB！对不起，真实没忍住说出这两个字。
ChatGPT（GPT-3.5）引爆科技圈后，一切人都在探讨，AI下一步会往哪一个标的目的开展。
上一次有这类觉得，仍是初代iPhone公布的时分。
咱们并无等过久。
隔夜，OpenAI正式推出新品GPT-4，再次扑灭了大家的想象力。
老板Sam Altman间接单刀直入地引见：
这是咱们迄今为止功用最弱小的模型！
有多强？
就像不少人感慨的：假如GPT-3.5尚属意料之中，GPT-4则让我自惭形秽。
这一波，真是科幻照进理想了。


01
伟大改革的前奏
怎么证实一集体比另外一集体程度高？
理想社会中，次要伎俩是考试、拿证。
所以，想让大部份人直观地感触到，新AI模型比旧的牛逼，一样是考试。
OpenAI用GPT-4加入了多项美国通用考试，成就很惊艳：
在SAT数学和浏览考试中，GPT-4比GPT-3.5高150分；
它还能经过律师摹拟考试，得分排在应试者前10%，而震撼寰球的GPT-3.5只能排在倒数10%……
随后，在YouTube上进行的Live Demo中，OpenAI展现了GPT-4的真正实力：总结文章、写代码、报税、写诗……GPT-3.5做不到的，GPT-4轻松拿下。
并且，还不单单是这样。


按照OpenAI官网形容，相较于GPT3.5，GPT-4最大的进化在于：“多模态”和长内容生成。
其中的症结，就是多模态这个词，望文生义，就是不同类型数据的融会。
目前GPT-4最大的冲破，就是具有了“读图才能”。
用户能够间接用图片发问，它可以在读懂图片内容的根底上，给出有逻辑的回答。
有个形象的例子。
上面这集体用笔在簿本上画了个网站的草图，而后用手机拍上去，发送给GPT-4。
10秒钟后，它不只辨认出图片的含意，还生成为了要建设这个网站的代码。
“您好，您的网站建好了。”






这个事情中，最中心的点其实不在于编程、计算和剖析才能，而是它能精确了解图片的含意，并给出解答，乃至是图片解答。
这就比GPT-3.5高出一个世代了。
二者的表示力基本不是一个级别的。咱们能够了解为，在纯文字的年代，照像机的泛起，对信息交流发生了多大的增进作用。
这就是AI进化史上相似的事情。
乃至，这也只是表象。更让我震惊加一点恐怖的，是GPT-4具备的的初步逻辑思惟才能。
正如OpenAI在明天的博文中所说：
咱们创立了GPT-4，这是 OpenAI 致力扩展深度学习的最新里程碑。虽然在许多理想世界场景中的才能不如人类，但在各种专业和学术基准上表示出人类程度。
在OpenAI提供的一个示例中，GPT-4精确地回答了几个网络meme为何搞笑的问题，虽然解释得其实不可笑。


GPT-4还学会简略的逻辑推理了。好比你问，图片里的绳子剪断会产生甚么。它答，气球会飞走。
它乃至能够讲出一些品质不咋地、模式化的冷笑话。虽然其实不可笑，但最少，它曾经开始了解“风趣”这一人类特质。
这两件大事看起来挺弱智的，却是AI向人类思惟缓缓进化的标记。
就像古猿人第一次学会直立行走，石器时期的原始人第一次思考人与天然的瓜葛。
宏观角度看，这没甚么大不了的。但拉长期线，当前人的目光看，这或许恰是伟大改革的前奏曲。
就像咱们钻研原始人走路同样。


固然，GPT-4仍然有局限性。
首先，它的常识范畴也存在时间限度，截止于 2021 年 9 月。
其次，AI毕竟是AI，OpenAI也表现目前GPT-4其实不完善，它在得多场景下的才能都不如人类。
据称，该模型依然存在“幻觉”或假造事实的问题，而且在事实方面也纷歧定老是牢靠的，“它偏向于坚持以为它是正确的，即便它错了”。
OpenAI表现，GPT-4正在致力解决其局限性，例如社会成见、幻觉和反抗性提醒。
但只管如斯，没人能否定，GPT十分有后劲。
世界上任何事，最难的永久不是做不到，而是想不到。
只有有个雏形，哪怕很low、很粗陋，间隔做好就不会很远了。
OpenAI做出ChatGPT，最大的意义是是向大家证实，这类运用是存在的，这类技术是可行的。这件事，不是干不可的。
就好像多年前，大家都在空口说概念的时分，只要特斯拉先做出了成品。
02
胜利绝非偶尔
一个恐惧的事实：GPT-4早在去年8月就训练实现了。
之所以当初才面市，是OpenAI需求花6个月时间，让它变得更平安。
这就不能不让人浮想连翩。
会不会曾经有GPT-5、GPT-6了，它们究竟是甚么模样？是不是曾经生长为无奈掌控的巨兽？
OpenAI的外部技术，究竟当先外界多少年？
微小的压力给到全世界。


自ChatGPT公布以来，国际外泛滥科技公司对AIGC技术的追捧已达到旷古绝伦的热度了。
Chat GPT刚刚公布，百度便当即官宣了大模型新名目“文心一言”（ERNIE Bot），将在今天和大家见面。
在尔后很短的一段时间内，阿里、京东、腾讯、字节跳动、360等多家互联网及IT企业纷纭表现对AIGC技术开展的关注和跟进，并同步提出了一些相干方案。
种种迹象标明，从科技巨头到行业龙头，中国企业已纷纭进入AIGC赛道竞逐。
然而，这块蛋糕，其实不好吃。
GPT-4是人工智能生成内容——AIGC技术最新停顿的代表。
所谓AIGC，是继专业生成内容（PGC）、职业生成内容（OGC）、用户生成内容（UGC）后，互联网内容生成的第四个阶段——神经网络深度学习。
这确实是人类科技史上天翻地覆的反动。
GPT-3.5和GPT-4，之所以能生成文字、代码、语音、图片、视频，实现言语翻译、案牍撰写、脚本编程，是由于OpenAI对数据、算力、算法等症结因素进行了几个世代的降级。
先说数据。
仅GPT-3.5的训练参数，就达到1750亿个以上。
想要把如斯海量的数据被重复投喂给AI模型，单次训练本钱就高达460万美元。
假如不是先有马斯克、后有微软的反对，OpenAI是不成能耗损得起的。
再说算力。
20十二-2018年，寰球AI算力需要增长约为30万倍，这个数字曾经很恐惧了。
但从2018年起，跟着Google Duplex、Open AI Five以及新华社寰球第一个“AI分解主播”上岗，人工智能技术开始减速落地。尤为是往年，称得上是发作之年。
根据当初的进度，按照预测，AI所需算力每100天将翻一倍。
也就是说，到2030年，AI所需算力是当初的3200万倍。（2的25次方）
显然，假如不在软件办事、硬件撑持、芯片技术等方面协同翻新，咱们的算力程度不成能完成指数级别的增长。
GPT-4的训练是在微软云上进行的。而在寰球云计算市场，微软云排名第二，再加之芯片技术的高速开展，这些都为ChatGPT的横空出生奠定了松软的算力根底。


最初说算法。
比拟传统的AI算法，GPT的劣势在于，经过海量参数，进一步晋升模型的准确度。
初代GPT模型的参数是1.17亿个；GPT-2事15亿个，减少了10倍；GPT-3达到1750亿，是GPT-2的 100 倍；而GPT-4的实在参数在1750亿-2800亿之间，并无比GPT-3高出太多，其重点在数据处置优化上。
这类大模型算法的完成，必需有高效力的算法框架来撑持，由于参数量下来之后，需求把模型和数据扩散放到多个GPU卡上，卡之间如何通讯、调度，如何进行高效的反向传布，都需求少量高程度技术人材来推动和实行。
GPT之所以共同，就是在目前世界上最弱小的LLM（大言语模型）为根底的同时，引入了基于人类反馈的强化学习办法，从而进步了对话的品质，而降级到多模态预训练大模型GPT-4版本后，其对话品质变得更为弱小、完善。
同时也能看到，GPT-4之所以比GPT3.5强得无限，可能就是算法的效力达到瓶颈了。
GPT-5，可能没有咱们想象的那末快到来。
综上，能够看出，ChatGPT是靠弱小算力和高本钱，用大范围的数据“喂”出来的AI模型，它的出圈看似是偶尔的，但其胜利却绝非偶尔。
其余公司想要复制一款ChatGPT，绝非随意设计个对话模型就完事。
事实上，国际AI畛域真正不足的是技术积攒，包罗数据的荡涤和标注、模型的构造设计，以及怎么训练、推理等，这些技术得多都需求教训和积攒，需求少量的科研人材和普通技术人员一步一个足迹走出来。
这方面，目前大公司更有劣势。
好比百度，之所以能尽快推出“文心一言”，就是由于其十年多来累计投入了超过1000亿元的技术研发经费。
而小公司，不只承当不起昂扬的本钱，也没有后期的技术研发积淀。跟风入局，虽然在股市里有一时的风光，利历时间差赚一些块钱。
但久远来看，最终会被市场淘汰。
固然，并非说小公司彻底没无机会，若能真正好高鹜远做好AIGC相干的一个细分板块，仍然无机会跑出来。
愿国际科技公司在追逐世界前沿科技的同时，少一些娇娆炒作，少一些深谋远虑，多一些翻新实干，多一些厚积薄发。
03
序幕
明天有个热搜挺无意思的。
说是《校花的贴身高手》水了一万多章，十多年还没结束，被读者举报了。
看得人一脸懵逼，这不是刚上高中时躲被窝里看的么。作者鱼人二代，当年还挺火的，《极品修真强少》、《很纯很暗昧》都是青春期难忘的回想。
印象中，这部小说早就被翻拍成电视剧，下认识便认为完本了。
其实想一想也正常，追了一万多章的书，校花都成姨妈了，男主仍是个雏儿，读者固然朝气……
还有另外一种说法。
平台和签约作者有协定，只有小说不停更，每月就有几万元固定支出。所以本该完本的小说，作者又找了个代笔，磨磨唧唧水了近十年。
这波啊，是反向薅资同族羊毛，可谓吾辈楷模。
平台被薅得受不了了，因而本人找人偷偷举报。


联想一下。
当ChatGPT、“文心一言”在国际遍及后，假如过气的老牌作者人手一个，每天水字数，能白嫖多少稿费？
想一想就流口水啊。
对曾经功成名就的部份网文作者而言，AI的遍及，大略率是件坏事。
但对其余人，纷歧定如斯了。
按照上文，总的来讲，GPT-4 的曾经证实了，它有才能在得多畛域，呈现出超出人类的表示。
乃至有传言称，GPT-4经过了“图灵测试”，在逻辑才能上与绝大部份人类曾经无异。
当初独一的门坎，就是本钱问题了。
一旦算力、算法、数据失掉冲破性停顿，本钱降上去了，就真的会对一些产业造成冲击。
说不定吃着火锅唱着歌，忽然就被 AI 把命给革了。
固然，我仍是阿谁观念：快点学，快点用。
AI毕竟是工具，是被人奴役的对象。
即便未来淘汰一部份人，也是先淘汰那些不会使用先进工具的人。
我爱这个魔幻的世界。
THE END