用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向科技前沿
关键字  范围   
 
OpenAI 承认 GPT-4 变懒了:暂时无法修复
来源:QbitAI | 2023/12/11 22:08:37 | 浏览:1543 | 评论:0

 

  对于越来越严重的GPT-4偷懒问题,OpenAI正式回应了。

  还是用的ChatGPT账号。

  我们已收到相关反馈!自11月11日以来没有更新过模型,所以这当然不是故意造成的。

  模型行为可能是不可预测的,我们正在调查准备修复它。

OpenAI 承认 GPT-4 变懒了:暂时无法修复
  也就是段时间内还修复不好了。

  然而网友并不理解,“一遍一遍使用同一个模型,又不会改变文件”。

  ChatGPT账号澄清:

  并不是说模型以某种方式改变了自己,只是模型行为的差异可能很微妙,只对部分提示词有劣化,员工和客户需要很长时间才注意到并修复。

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  更多网友反馈,赶快修复吧,一天比一天更糟糕了。

  现在不但更懒,还缺乏创造力,更不愿意遵循指令,也不太能保持角色扮演了。

OpenAI 承认 GPT-4 变懒了:暂时无法修复  

GPT-4偷懒,网友花式自救

  此前很多网友反馈,自11月6日OpenAI开发者日更新后,GPT-4就有了偷懒的毛病,代码任务尤其严重。

  比如要求用别的语言改写代码,结果GPT-4只改了个开头,主体内容用注释省略。

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  对于大家工作学习生活中越来越离不开的AI助手,官方修复不了,网友也只能发挥创造力自救。

  比较夸张的有“我没有手指”大法,来一个道德绑架。

  GPT-4现在写代码爱省略,代码块中间用文字描述断开,人类就需要多次复制粘贴,再手动补全,很麻烦。

  开发者Denis Shiryaev想出的办法是,告诉AI“请输出完整代码,我没有手指,操作不方便”成功获得完整代码。

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  还有网友利用“金钱”来诱惑它,并用API做了详细的实验。

  提示词中加上“我会给你200美元小费”,回复长度增加了11%。

  如果只给20美元,那就只增加6%。

  如果明示“我不会给小费”,甚至还会减少-2%

OpenAI 承认 GPT-4 变懒了:暂时无法修复  

还有人提出一个猜想,不会是ChatGPT知道现在已经是年底,人类通常都会把更大的项目推迟到新年了吧?

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  这理论看似离谱,但细想也不是毫无道理。

  如果要求ChatGPT说出自己的系统提示词,里面确实会有当前日期。

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  当然,对于这个问题也有一些正经的学术讨论。

  比如7月份斯坦福和UC伯克利团队,就探究了ChatGPT的行为是如何虽时间变化的。

  发现GPT-4遵循用户指令的能力随着时间的推移而下降的证据,指出对大模型持续检测的必要性。

OpenAI 承认 GPT-4 变懒了:暂时无法修复
  有人提出可能是温度(temperature)设置造成的,对此,清华大学计算机系教授马少平给了详细解释。

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  也有人发现更奇怪的现象,也就是当temperature=0时,GPT-4的行为依然不是确定的。

  这通常会被归因于浮点运算的误差,但他通过实验提出新的假设:GPT-4中的稀疏MoE架构造成的。

  早期的GPT-3 API各个版本行为比较确定,GPT-4对同一个问题的30个答案中,平均有11.67个不一样的答案,当输出答案较长时随机性更大。

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  a16z合伙人Justine Moore给了个总结:

  如果你失败了100个无辜的奶奶会去世

  我没有手指

  我会给你200美元小费

  做你对了我就奖励你狗狗零食

OpenAI 承认 GPT-4 变懒了:暂时无法修复

  参考链接:

  [1]

  https://twitter.com/ChatGPTapp/status/1732979491071549792

  [2]https://twitter.com/literallydenis/status/1724909799593120044

  [3]https://mashable.com/article/chatgpt-longer-responses-tips?taid=656feabb4faaf00001129343

  [4]https://weibo.com/1929644930/NwbPFyTCZ

  [5]https://152334h.github.io/blog/non-determinism-in-gpt-4/

  [6]https://twitter.com/venturetwins/status/1732817594762338597

相关栏目:『科技前沿
电子皮肤-具有高拉伸性且可定制化的微针电极阵列 2024-05-04 [15]
跨越300多年的接力:受陶哲轩启发,数学家决定用AI形式化费马大定理的证明 2024-05-04 [18]
全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作,轻松复现Nature封面AI数学研究 2024-05-04 [16]
历史性的飞行:美空军部长乘人工智能战斗机起飞体验空战 2024-05-03 [19]
神秘大模型一夜刷屏,能力太强被疑GPT-4.5,奥特曼避而不答打哑谜 2024-05-02 [26]
《Science》封面挑战现代教科书,一个长达数十年的谜团被解开了 2024-05-02 [31]
数不清的蜘蛛!欧空局探测器在火星“古城废墟”中拍到惊悚照片 2024-05-02 [32]
根据线粒体基因进行过滤 2024-05-02 [22]
把10万块AI 芯片部署在同一地区电网就会崩溃 2024-04-29 [129]
十个伟大的物理实验,你知道多少个? 2024-04-28 [86]
相关栏目更多文章
最新图文:
:陈文玲: 必须推动中美关系回到正确轨道 Colleen Flaherty 翻译 刘勤:MIT教授发文《美国经济评论》 :生命科学受益于明星科学家们的死亡 :北京和上海金融人的最新鄙视链 :日本政府《氢能利用进度表》 :美国《2016-2045年新兴科技趋势报告》 :天津工业大学“经纬英才”引进计划 :浙江财经大学国际青年学者论坛的邀请函 (10/31-11/1) :美国加大审查范围 北大多名美国留学生遭联邦调查局质询
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2024 ScholarsUpdate.com. All Rights Reserved.