ChatGPT修bug横扫全场，精确率达78%！网友：顺序员要开心了

嘎喇哈

原标题：ChatGPT修bug横扫全场，精确率达78%！网友：顺序员要开心了  
金磊 衡宇 发自 凹非寺   
量子位 | 大众号 QbitAI   
ChatGPT究竟有多会修bug？   
这事终于有人正儿八经地搞钻研了——  
来自德国、英国的钻研人员，专门搭了个“擂台”来检修ChatGPT的这项本事。  


除了ChatGPT以外，钻研人员还找来了其它三位修bug的“AI猛将”，分别让它们修复 40个过错代码。   
后果真是不比不知道，一比吓一跳。  
ChatGPT精确修复了其中 31个bug，遥遥当先第二名 （21个），间接拿下“AI修bug界”的 SOTA成就！   


因而乎，这项钻研引来了泛滥网友的围观和探讨，Reddit上公布此帖的标题更是用上了 “谨慎”、 “留意”这样的字眼：   
展开全文    但事实上，这真的会让顺序员“危”吗？  
咱们无妨先来看下这项钻研。  
很会修bug的ChatGPT   
虽然ChatGPT并不是是为了专门修正bug而生，但自打它问世以来，不少网友们都发现它是具备这项才能的。  
因此钻研人员为了摸清ChatGPT究竟能修正bug到甚么水平，便引入了规范的过错修复基准集 QuixBugs来进行评价。   
以及与它同台竞技的AI选手，分别是 CodeX、 CoCoNut和 Standard APR。   
钻研人员从QuixBugs中挑了40个问题，分别让它们来修复bug。  
让ChatGPT来修bug的办法，就是在对话框里向它发问：  
这个代码有甚么过错吗？
    这个代码有甚么过错吗？  
在第一轮较量当时，后果如下：  


从第一轮battle后果来看，ChatGPT修复了19个，CodeX修复了21个，CoCoNut修复了19个，Standard APR则是7个。  
并且钻研人员还发现，ChatGPT的谜底与CodeX最为类似；这是由于它俩是来自同一个言语模型家族。  
这时候候就会有小火伴要问了，“ChatGPT不是尚无CodeX厉害吗”。  
别急，不要忘了，ChatGPT的一个特征就是越问越“上道”。  
例如在这个基准集中，有一个叫bitcount的问题，ChatGPT在方才第一轮修复过程当中是给了过错的谜底：  


本来ChatGPT应该将第7行的 n ^ = n - 1 改成 n & = n - 1。  
但在第一轮中它的回答是：  
假如没有更多对于预期行动和致使问题的输出信息，我无奈判别顺序是不是存在过错。
    假如没有更多对于预期行动和致使问题的输出信息，我无奈判别顺序是不是存在过错。  
因而在给予它更多信息之后，ChatGPT便答对了这个问题。  
以此类推，在对第一轮没答对的问题进行更多信息提醒之后，ChatGPT的修bug才能有了大幅进步：  


终究，ChatGPT在QuixBugs的40个问题里答对了31个。  
网友忧喜参半   
关于这样的试验后果，网友们对ChatGPT修bug拿下SOTA这事发生的态度却不太同样。  
有网友以为这事不该该让顺序员感到危机，而是会让他们 感觉开心才对。   
话中有话，即是顺序员们有了这么好用的工具，干活儿就会变得事倍功半。  
不外也有人对此给出了纷歧样的看法：  
任务变得简略，不也就象征着需求的人力更少了吗？
    任务变得简略，不也就象征着需求的人力更少了吗？  
但还网友感觉，活儿是干不完的：  
即便AI能把开发时间缩短一个数量级，也只是象征着顺序员将更快处置下一个任务。
    即便AI能把开发时间缩短一个数量级，也只是象征着顺序员将更快处置下一个任务。  


总体来看，ChatGPT很会修bug，其实不会给顺序员带来甚么致命挫伤。  
但如果是把眼光放到OpenAI其余的行为中呢？  
寰球招外包训练ChatGPT写代码   
在此以前，OpenAI就表现过ChatGPT的首要用处之一是帮忙顺序员 反省代码。   
换言之，它被定位可用的 辅佐工具。   
比拟“ChatGPT带来要挟”的看法，等ChatGPT才能完全进化，顺序员都不必再怕写bug了。  
OpenAI规划的棋盘上，可不仅有改bug偷塔顺序员岗位这一件事。  
为了让它更大更强，OpenAI被曝在拉美和东欧等地域，提供了 1000个外包岗位。   
外包员工的次要任务是 标注数据，以及训练ChatGPT 写代码  
这1000人中，40%是顺序员，他们为OpenAI的模型创立数据，用来学习软件工程工作。  
始终以来，OpenAI的训练数据是从GitHub上抓取的。  
当初外包顺序员们老手搓的数据集，不只包罗代码行，还包罗 代码行面前的人类思考逻辑步骤。   
有位南美的软件开发人员爆料，他为OpenAI实现了五小时的无偿编码测试。  
全部过程当中，他的工作分为两部份。  
用书面英语解释如何处置一个编码问题；  提供解决计划。    假如发现bug，OpenAI会向他具体讯问bug的详细状况，并求教如何修改。  
顺序员需求展现 思考问题的每个步骤，他据此猜测OpenAI极可能想为ChatGPT提供十分详细的训练数据。   
特斯拉前AI主管Andrej Karpathy在推特上调侃：  
最新的抢手编程言语是英语。
    最新的抢手编程言语是英语。  


不外话说回来，ChatGPT修bug才能强是坏事，要真能搞进化到能够实现代码里融会贯通的部份，也是坏事。  
毕竟OpenAI成立时对外声称的主旨，就是但愿“确保通用人工智能能够造福全人类”。  
虽然乍一看它这些年做的事，有点像在努力于 用一部份人的致力，让更多人失业。   
从Dota2赛场上碾压人类，到GPT-3、DALL-E2、ChatGPT的闪耀表示，它带来的新产品老是伴有着“快要让xxx失业了”的谈论声。  
但无论如何，商业却始终对它青眼有加。  
就目前而言，OpenAI的次要商业模式是API费用、token费用和软件许可。  
OpenAI近期还公布了ChatGPT的付费版 ChatGPT Pro，每个月费用42美元 （约合285元人民币）。   


虽然机器人对话初创公司如雨后春笋般冒出，但诸多迹象标明市场对OpenAI的继续看好。  
微软刚刚宣告将向OpenA I加码投资数十亿美元，并将OpenAI的模型融入微软必应等消费级和企业级产品中。   
按照知情人士透露，此次追加投资数额约为100亿美元。  
与此同时，WSJ披露的动静显示，1月初，亿万富翁Peter Thiel创建的风投基金Founders Fund正在就投资OpenAI进行会谈。  
据悉，融资金额将 最少达3亿美元。   


One More Thing   
在第一轮试验中，ChatGPT并无解决QuixBugs数据集的bitcount问题。  
但如果是你当初再重头问一次这个问题，就会发现ChatGPT能够“一遍过”：  


那末这是不是象征着ChatGPT曾经从这次钻研过程当中学会求解了呢？  
参考链接：  
[1] http://arxiv.org/abs/2301.08653  
[2] http://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code  
[3] http://www.reddit.com/r/technology/co妹妹ents/10oaw6n/watch_out_software_engineers_chatgpt_is_now/  
[4] http://en.wi.bwl.uni-mainz.de/dominik-sobania/  
— 完—   
「人工智能」、「智能汽车」微信社群邀你参加！  
欢送关注人工智能、智能汽车的小火伴们参加交流群，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。  
PS. 加好友请务必备注您的姓名-公司-职位噢 ~  
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~