用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向学人动向
关键字  范围   
 
LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
来源:opencat AI寒武纪 | 2024/9/27 20:10:38 | 浏览:3063 | 评论:0

AI 大神 Andrej Karpathy 又开炮了!这次他吐槽的对象是“大语言模型”(LLM)这个名字:

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
“LLM(‘大语言模型’)和‘语言’没啥关系,这只是历史遗留问题。它们是一种高度通用的技术,用于对 token 流进行统计建模。一个更好的名字应该是‘自回归 Transformer’或其他类似的名字。”

Karpathy 认为,“语言”这个词误导了很多人,让人以为 LLM 只能处理文本,但实际上,LLM 可以处理任何类型的离散 token 流,例如图像块、音频块、动作选择、分子结构等等!

只要你能把问题转化成对 token 流的建模,你就可以“把 LLM 扔进去”! 😎

LLM 的未来:所有问题都将变成 token 流?

Karpathy 还大胆预测,随着 LLM 技术栈越来越成熟,很多问题最终都会被转化成 token 流建模问题。也就是说,问题的形式固定为“预测下一个 token ”,只是每个领域使用的 token 的含义不同。

如果真是这样,那么像 PyTorch 这样的深度学习框架就显得过于“臃肿”了。毕竟,如果 80% 的问题只需要用 LLM 就能解决,那谁还需要成千上万个可以任意配置的运算符和层呢?

马斯克也来凑热闹:

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
“确实需要一个新名字。‘多模态 LLM(Multimodal LLM)’ 更是荒谬,第一个词和第三个词相互矛盾!”

网友 Clive Chan 的观点更犀利:

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
“另一方面,也许所有可以自回归表达的东西都是语言,所有东西都可以扩展成一个 token 流,所以所有东西都是语言!”

Karpathy 最终总结道:

“当然,你可以把它想成‘说话的纹理’、‘说话的分子’等等。但我所看到的是,‘语言’这个词误导了人们,让他们认为 LLM 仅限于文本应用。”


Karpathy讨论的其实非常有意思,我们来上点哲学高度,法国解构主义大师(解构主义鼻祖)Jacques Derrida有一个非常有名的观点"There is nothing outside the text"

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人

这是不是人工智能与人文的交叉路口?乔布斯如果还在世的话,不知道他会如何解读?大家怎么看?评论区见

相关栏目:『学人动向
魏加宁:美国关税战对中国与世界的警示 2025-04-03 [114]
FDA CBER主任Peter Marks博士的辞职信(附:中英文版本) 2025-04-02 [67]
刘瑜:没来的请举手 2025-03-27 [130]
勒内 吉拉尔思想下的 JD 万斯与彼得 蒂尔 2025-03-27 [122]
Raymond Ro:一位上纽商学教授的非典型跨界 2025-03-18 [318]
威尔·杜兰特:文明倒退的七种征兆 2025-03-17 [384]
何清涟:大争之世,坚守理想但要尊重事实 ——回应德国驻新加坡大使方迪娜《坚守国际社会理念》 2025-03-14 [409]
[聚焦]赵晓:从俄乌争论看中国人的主流世界观 2025-03-10 [522]
孙立平:“五大寄生虫”阻碍中国经济发展 2025-03-07 [640]
许小年:经济还要下滑3到5年,将正面抗击三头灰犀牛 2025-03-07 [679]
相关栏目更多文章
最新图文:
:北京和上海金融人的最新鄙视链 :日本政府《氢能利用进度表》 :美国《2016-2045年新兴科技趋势报告》 :天津工业大学“经纬英才”引进计划 :浙江财经大学国际青年学者论坛的邀请函 (10/31-11/1) :美国加大审查范围 北大多名美国留学生遭联邦调查局质询 :天安门广场喜迎“十一”花团锦簇的美丽景象 马亮:做院长就能够发更多论文?论文发表是不是一场“权力的游戏”?
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2025 ScholarsUpdate.com. All Rights Reserved.