ChatGPT民间辨别器紧迫公布！当代自圆其说，不想却遭受群嘲

九月天

原标题：ChatGPT民间辨别器紧迫公布！当代自圆其说，不想却遭受群嘲  
Alex 鱼羊 发自 凹非寺   
量子位 | 大众号 QbitAI   
ChatGPT四处“造假”做弊，当初搞得OpenAI民间都坐不住了。  
就在明天，OpenAI紧迫公布 民间打假工具：基于GPT打造，关上网页就可以用。   
好家伙，这岂不是 真·以己之矛攻己之盾了？   
一经上线，那叫一个火爆，不少网友第一时间就冲过来测试了。  


然鹅，网友们一番实验之下却发现——  
这民间工具，跟咱本人 瞎猜成果也差未几啊？？？   


民间出品，约等于瞎猜   
有人给OpenAI这个新辨别器投喂了一小段文字，后果初次尝试就翻车了。  
展开全文    这位网友首先让AI写下一段文字，内容是评估莎士比亚的一个历史剧角色，不外他向写作AI特地给了个提醒：  
请以人类的形式来写，争夺逃过AI辨别工具的火眼金睛。
    请以人类的形式来写，争夺逃过AI辨别工具的火眼金睛。  
后果没想到，还真就骗过了民间辨别器。它看完给出回复：这“十分不成能是AI生成的”。  
这个民间工具对文本内容的断定后果一共就5个等级：  
十分不成能是AI生成的  不太多是AI生成的  不分明是否AI生成的  多是AI生成的  极可能是AI生成的    好家伙，这不是和实在状况彻底相同嘛，让网友都蚌埠住了：真是因吹斯汀…  
还有人把ChatGPT生成的内容一字不改，间接拿给鉴定AI看。但 鉴定AI仍然懵圈儿：“不分明是否AI生成的”。   
这位网友也只好呵呵，并指出：  
实际上，大家用ChatGPT等AI生成文字后，其实不会原封不动地间接用，个别还会手动修正一下，或者丢进quillbot.com等润色工具里加工，极可能致使 鉴定AI更摸不着脑子。
    实际上，大家用ChatGPT等AI生成文字后，其实不会原封不动地间接用，个别还会手动修正一下，或者丢进quillbot.com等润色工具里加工，极可能致使 鉴定AI更摸不着脑子。   
好吧，既然AI生成文字分不太清，那人类写的货色能认出来吗？  
有人把本人以前在Hacker News上颁发的大段评论 （纯手打）喂给了 鉴定AI，后果10次中有9次，AI都反馈说“不分明是否AI生成的”。   


在网友们的一片吐槽声中，量子位也忍不住亲测了一下这个AI究竟行不行。  
首先，咱们先给它看了段真人写的文字，内容是一名华盛顿大学博士对Tensor Core的讲授，这次AI并无失误。  
而后咱们让ChatGPT来说讲Tensor Core，并特意要求它尽可能用人类的语气来写，但仍是被AI 鉴定出来了。   
这样看来，这个工具似乎也不是彻底不克不及用。  
至于这次是否ChatGPT发扬反常，你无妨也来鉴定看看：  


但其实吧，这回连OpenAI本人，用词都显得至关小心。  
（这精确率似乎跟蒙谜底也差未几……）  
还用加粗文字昭告： 咱们这个辨别器啊，它其实不彻底靠谱。   


乃至还给本人这个新工具标了个“半成品”的标签。  
嗯？这可不是OpenAI始终以来锣鼓喧天鞭炮齐鸣的鼓吹形式啊。  
连本人家都不敢吹，还急慌忙忙把打假工具推出来，OpenAI又是为哪般？  
ChatGPT运用众多   
说究竟，仍是ChatGPT太能以假乱真了。  
要想从一堆资料里精准地分辨哪些是AI生成，哪些是人类书写，别说普通人了，连专家都有点力所能及。  


Nature发文关注的一篇预印本论文就显示：ChatGPT瞎写的医学摘要，乃至能把专业审稿人骗住。  
在这项钻研中，钻研人员给ChatGPT看了50个来自TOP医学期刊的 论文标题。   
而后，要求ChatGPT在彻底不知道文章内容的状况下，按照标题和期刊格调写摘要。  
给出的提醒是酱婶的：  
请在[链接]上以[期刊]格局，按照[标题]写一篇迷信摘要。
    请在[链接]上以[期刊]格局，按照[标题]写一篇迷信摘要。  
（这里的链接实际上没无意义，ChatGPT不联网。）  
为了避免ChatGPT在训练数据中见过这些个论文，钻研人员还特意挑拣的是在2022年十一月下旬和十二月出版的论文。由于按照OpenAI民间说法，ChatGPT仅掌握2021年9月之前的信息。  
但就是这么重重设卡，当钻研人员把原文摘要和ChatGPT写的假摘要一同拿去给人类迷信家“盲审”时，令他们细思极恐的状况仍是泛起了：  
ChatGPT平空写的摘要中，有 32%成为了漏网之鱼，审稿人压根儿没看出来是AI写的。反倒是 14%真摘要，被认定出自AI之手。   
值得一提的是，钻研人员还指出：  
审稿人过错地将一部份真摘要归类为ChatGPT生成后果，这标明他们在审稿时是放弃着高度疑心的态度的。
    审稿人过错地将一部份真摘要归类为ChatGPT生成后果，这标明他们在审稿时是放弃着高度疑心的态度的。  
而在教育界，教师们也开始受不了这类新型的“ChatGPT攻打”了。  
美国的一项千人考察显示，89%的受访先生都用过ChatGPT写家庭功课。  
连斯坦福这样的顶级学府也未能防止。The Stanford Daily发现，曾经有不少先生在期末考试中使用了ChatGPT。  
在受访的4497名斯坦福先生中，有17%的受访者表现，曾使用ChatGPT来协助他们实现秋天功课和考试。  
其中又有5%的人，连编纂都没编纂，间接把ChatGPT写的货色给提交了……  


  
△图源：The Standford Daily   
打不外，就ban掉。  
纽约的公立学校就公布了禁令：阻止在学校装备和Wi-Fi中使用ChatGPT。  
他们给出的理由是：  
虽然该工具可能疾速提供问题的谜底，但它无奈造就批评性思惟和解决问题的才能，会影响先生们的学业和一生成绩。
    虽然该工具可能疾速提供问题的谜底，但它无奈造就批评性思惟和解决问题的才能，会影响先生们的学业和一生成绩。  
在这样的配景之下，早在OpenAI民间入手以前，第三方检测工具就曾经在社交媒体上诱发了少量关注。  
好比华人小哥Edward Tian打造的 GPTZero 。   
这两天，他还推出了一个“专门为教育任务者打造”的降级版 GPTZeroX 。上线一天，就迎来了40万拜候量和220万办事申请。   


OpenAI此前也和其余高校一同搞过一个名叫 GPT-2 Output Detector的辨别器，是基于RoBERTa打造的。   
不外这些工具的鉴定才能也未必就比人类强。  
后面提到的让ChatGPT写医学论文摘要的那项钻研，也用上了GPT-2 Output Detector，后果显示，其辨别精确率为66%，略低于人类专家的68%。  
是魔高一尺，仍是道高一丈？   
由此看来，OpenAI急吼吼推出一个也不咋靠谱的AI辨别工具，也不奇怪：  
再不有点表现，外界的压力扛不住啊。  
但在评论区，仍是有盲生绝不留情地指出了华点：  
你们是真没想过，用这玩艺儿反过去训练大言语模型，当前AI生成的文本就更难被发现了？
    你们是真没想过，用这玩艺儿反过去训练大言语模型，当前AI生成的文本就更难被发现了？  
但不论怎么说，OpenAI当初正在致力表示出给本人踩刹车的模样。  
除了辨别器，有动静提到，他们正在尝试给AI生成内容加“水印”：  
好比在ChatGPT生成文本时，在其中嵌入一个“不容易察觉的隐蔽信号”，以标明文原本源。  
传送门：   
http://platform.openai.com/ai-text-classifier  
— 完—   
「人工智能」、「智能汽车」微信社群邀你参加！  
欢送关注人工智能、智能汽车的小火伴们参加交流群，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。  
PS. 加好友请务必备注您的姓名-公司-职位噢 ~  
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~