华人澳洲中文论坛

热图推荐

    科大讯飞被曝抓紧开发中国版ChatGPT,详细公布时间已肯定

    [复制链接]

    2023-2-11 09:21:39 18 0

    原标题:科大讯飞被曝抓紧开发中国版ChatGPT,详细公布时间已肯定  
    杨净 萧箫 发自 凹非寺   
    量子位 | 大众号 QbitAI   
    ChatGPT炽热,国际玩家接连爆出抓紧开发 中国版ChatGPT的动静。   
    当初又最新得悉: 科大讯飞也参加此列中。   
    而且公布就会是间接落地场景的产品,详细时间也曾经肯定: 5月6日。   
    这是ChatGPT火得乌烟瘴气之下,最快给出详细时间的国产玩家。   
    更早以前,一众互联网玩家包罗百度360阿里网易京东官宣入局之际,对于谁能打造中国版ChatGPT的问题也争得乌烟瘴气。  


    事实上,自ChatGPT上线以来,作为A股AI龙头科大讯飞就备受市场关注,始终被基金疯狂调研和热捧。  
    据证券时报动静,截至2022年四季度末,80只基金重仓持有科大讯飞6100万股,去年四季度基金大幅加仓1807万股。  
    有着数十年技术产业积攒的科大讯飞,也被以为是国际最有但愿打造ChatGPT的玩家之一。  
    但问题是,包罗讯飞在内的中国玩家是不是真的有但愿复刻ChatGPT?最少从技术维度来看,又应该具备甚么样的前提?  
    打造中国版ChatGPT需求甚么前提?   
    ChatGPT的打造,中心绕不外算法、数据、算力三因素。  
    算力是撑持面前大言语模型训练的硬件根底; 数据,影响模型才能强弱乃至生成品质的症结; 算法则包罗模型架构和优化办法,抉择着模型的中心技巧。   
    假如说前二者算力和数据是资本资源积攒,毕竟训练一个1750亿参数的GPT-3就得破费460万美元;那末算法是ChatGPT区分于其余的独到的地方。  
         作为一个对话式AI,ChatGPT所具备的技巧包罗多言语文本生成、具备少量世界常识、零样本生成、代码了解和生成、对话才能等。  


    更概括地来讲,其弱小的地方在于同时具备常识、推理和沟通才能——  
    也是完成 认知智能必备的几项才能。   
    首先是 常识才能。为了让ChatGPT既具备运用数据才能、又能生成合乎人类要求的谜底,要求它能具备少量世界常识和根底知识,且合乎人类输入要求。   
    这面前不只离不开ChatGPT“底座”大言语模型的参数量和算法架构,更离不开极高的数据品质。  
    值得留意的是,ChatGPT比其余AI模型生成品质高的缘故,在于它更理解人类的“雷区”,包罗回答中立主观、不输入违规内容、不回答认知规模以外的问题等。  
    严格来讲,这不只需求各行业通用的高品质数据,并且还需求通过少量数据荡涤和人工标注。  
    这类办法被命名为 基于人类反馈的强化学习(RLHF),需求通过少量各行各业的人工标注,仅凭模型本身无奈达到这样的成果。   
    随后是 推理才能。这包罗了解并生成代码等技巧,让模型能像人同样,一步步思考并推算指标后果。   
    这外面考验的又不单单是代码和言语数据量,一样还强调模型的零样本生成才能和繁杂推理才能。  
    详细而言,零样本生成指的是模型实现没见过的新工作的才能,而代码生成更是考验模型按照工作指标,一步步推理生成终究后果的才能。  


    最初即是 沟通才能,即多言语文本生成、对话才能等。   
    ChatGPT之所以在沟通才能上有所提高,是由于它能学会基于以前的对话内容生成新输入,而并不是局限于以后对话中、致使无奈了解代词或暗含前文信息点的词。  
    这面前除了要求模型在预训练时的言语文本拥有多样性,还必需减少如指令学习在内的工作,确保模型能更好地听懂人类对话中的要求,并精确公道地完成。  
    综下去看,ChatGPT在各方面都提出了不低的要求,国际玩家要想打造这样的模型,就必需在NLP甚至认知智能相干的算法上,完成深挚沉淀。  
    国际玩家有但愿吗?   
    既然如斯,那末国际的玩家来打造ChatGPT有但愿吗?  
    从目前已被曝出玩家来看,次要有两类企业想要抢占ChatGPT的洼地。  
    一类是网络搜寻畛域,这个被以为ChatGPT率先推翻的场景,微软谷歌之争也在此再次打响。而回到国际,搜寻引擎的两大巨头都表现对ChatGPT的继续关注。  
    一边,百度官宣行将上线 文心一言;另外一边,周鸿祎也确定表现: 360不会保持对ChatGPT这门技术的钻研和跟踪。  
    另外一类则是其余专业畛域的玩家,好比聚焦于电商物流的阿里京东、娱乐场景下的腾讯网易,还有像教育医疗场景深耕的科大讯飞……  
    无妨就从这两类玩家动手,以百度和科大讯飞为例,来看看是不是真的有但愿。他们一个是搜寻引擎代表,一个所代表的场景有普遍的社会价值。  


    图注:图源科大讯飞,智医助理电话机器人  
    如前所言,想要打造ChatGPT,需求算法、数据和算力三个方面。  
    首先从算法上,目前国际得多公司都有NLP技术和预训练言语模型的钻研和开发。百度有文心大模型,而AI龙头科大讯飞天然更是在这两方面,有诸多钻研积攒——  
    在NLP所在的认知智能畛域,科大讯飞主导承建了认知智能全国重点试验室(科技部首批20家标杆全国重点试验室之一),多年来一直放弃症结中心技术处于世界前沿程度,好比在去年就获取Co妹妹onsenseQA 2.0、OpenBookQA等十二项认知智能畛域权威评测的第一;  
    而在预训练言语模型上,还面向认知智能畛域陆续开源了6大类、超过40个通用畛域的系列中文预训练言语模型,成为业界最普遍盛行的中文预训练模型系列之一,在Github获13346颗星,位列中文预训练模型星标数第一。  


    从这个维度上看,中国玩家是有但愿造出一个类ChatGPT模型。  
    但要造出一个高品质的言语模型,需求少量的数据和计算资源。  
    数据方面,诸多景象标明,数据多少是抉择模型智能与否的症结。一度惊艳世人的GPT-3就有1750亿参数,而上一版本GPT-2只要15亿参数。   
    百度360这样的搜寻引擎玩家,有着自然的通用数据来源。不外之后的数据荡涤和人工标注也是难度不小的工程。  
    而像科大讯飞,虽然没有像前二者有通用数据上的劣势。但在教育、医疗这类高壁垒、高门坎的畛域有范围化的专业数据积攒,而且有在讯飞输出法、讯飞凋谢平台、消费办公类产品带来的少量数据,  
    待到ChatGPT行业落地时,能够迅速占据市场洼地。  
    再来看 计算资源方面,实际上看的是违心投入的本钱有多少。   
    OpenAI背靠微软这样一头算力奶牛——具有28.5万个CPU中心、1万个英伟达V100 GPU,光是训练一个GPT-3,费用就高达460万美元。  
    国际像百度、科大讯飞这种数十年的AI玩家,天然有诸多算力和资金的积攒。并且也有生态链上的协作火伴,想必也会是瓜熟蒂落的。  
    偶合的是,讯飞在往年年终提出了要开启高品质开展——将在将来5年完成500亿按照地业务营收、200亿毛利,可提供物资保障;另外一方面,还有中国玩家绕不开的国产代替的考量,近些年来讯飞始终推动在算力和算法上的自主可控。  
    据民间数据,目前研发训练办事器曾经开始进入国产化, 切换之后效力有的是原来平台的 70-80%,有的效力是超原来平台100+%。此外在算法上,也启动了推理办事器的国产代替;像部份产品,学习机芯片曾经整个切换成国产自主。  


    不成否定的是,咱们跟ChatGPT是有后天的技术差距。但最少从算法、算力和数据这三个根本盘来看,想要打造一个中国版ChatGPT也并不是没有但愿。  
    中美在打造ChatGPT上的差别   
    从新回到事情自身,就在一众中国玩家开始着手打造类ChatGPT产品之际,一个绕不开的问题是,中国明明不缺ChatGPT技术,为何不是中国先降生ChatGPT?中美之间在打造ChatGPT上差别有多大?  
    面前缘故在此以前也没有进行零碎性梳理过。归纳起来,次要有三个层面。  
    其一,AI运用落地的行业线路差别。  
    ChatGPT作为AGI(通用人工智能)技术代表,关于商业化落地而言,自身不是一个“好生意”。  
    之所以这么说,是由于在至关长的一段时间内,AGI的商业前景其实都其实不为业内和大多玩家所看好。  
    除了后期训练算力和数据投入的少量资金,前期优化和常识更新所需的迭代线路,无奈像互联网商业模式翻新那样疾速变现增长。  
    在国际市场大环境中,并非一个好的选择。比拟之下,国际大少数科技厂商更偏向于在垂直专业畛域运用AI技术,如推出针对不同行业的专业大模型、又例如采取预训练+微调的模式,针对更详细的场景用专业数据去调剂差别……  
    这其实不象征着垂直专业畛域的AI运用一定比通用AI更差,乃至在某些畛域上,通过专业数据训练的AI表示依然比ChatGPT更好。  


    其二, 中美在ChatGPT技术上的差距。   
    如前所述,中国不缺ChatGPT技术。如科大讯飞钻研的认知智能中,关于ChatGPT具备的天然言语了解、常识推理技术都已有所规划,相干寰球基准测试中,成就均达到了寰球当先程度。  
    但是,如何将这些模型才能集成降级、达到ChatGPT的成果,又如何搜集并发生巨量的高品质通用数据、而非仅仅是某一行业的专业数据,国际外目前仍旧存在差距。  
    更明白一点来讲, 存在技术代差。  
    360在比来电话会议中表现:  
    国际的技术程度目前总体在GPT2.3摆布。假如基于互联网劣势,大家都用中文发问、尤为是国际的问题,可能实际体验能达到GPT2.5版本摆布。
        国际的技术程度目前总体在GPT2.3摆布。假如基于互联网劣势,大家都用中文发问、尤为是国际的问题,可能实际体验能达到GPT2.5版本摆布。  
    但OpenAI这边, GPT-4早就曾经跃然纸上,中美之间根本已存在一代多的技术差距。   
    其三,技术诱发的生态差距。  
    GPT-3之后OpenAI一切的模型都没有开源,而是提供了API调用,并因此养活了美国一大帮守业公司,发明并盘活了全部生态。  
    清华大学计算机迷信与技术系长聘副传授黄民烈,就曾这样形象地形容GPT系列模型的影响力:  
    这个进程它干了一件事,就是建设起了真正的用户调用和模型迭代之间的飞轮,它十分注重实在世界数据的调用,以及这些数据对模型的迭代。
        这个进程它干了一件事,就是建设起了真正的用户调用和模型迭代之间的飞轮,它十分注重实在世界数据的调用,以及这些数据对模型的迭代。  
    比拟之下,国际目前更多公司虽然开源了不少大模型,但是这些模型要想达到商业化落地成果,依旧需求少量数据迭代甚至运用落地,这方面的费用绝非初创公司所能承当。  
    事实上,从技术、行业甚至生态差距来看,ChatGPT依托的不是短时间的角逐,而是一个长线投资行动。  
    目前,运用畛域可能还集中在搜寻引擎上,但跟着ChatGPT运用后劲被各个畛域挖掘出来,终究可能打造国产ChatGPT的,仍是那些在技术、行业以及有才能构建生态的玩家中,科大讯飞是一个。  
    总之,对于寰球ChatGPT之争,号角曾经吹响。关乎ChatGPT落地价值探究,国际玩家曾经起航。  
    —   
    点这里 ?关注我,记得标星哦~   
    一键三连「分享」、「点赞」和「在看」  
    科技前沿停顿日日相见 ~

    发表回复

    您需要登录后才可以回帖 登录 | 立即注册

    返回列表 本版积分规则

    :
    注册会员
    :
    论坛短信
    :
    未填写
    :
    未填写
    :
    未填写

    主题30

    帖子39

    积分188

    图文推荐