用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向学人动向
关键字  范围   
 
LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
来源:opencat AI寒武纪 | 2024/9/27 20:10:38 | 浏览:3343 | 评论:0

AI 大神 Andrej Karpathy 又开炮了!这次他吐槽的对象是“大语言模型”(LLM)这个名字:

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
“LLM(‘大语言模型’)和‘语言’没啥关系,这只是历史遗留问题。它们是一种高度通用的技术,用于对 token 流进行统计建模。一个更好的名字应该是‘自回归 Transformer’或其他类似的名字。”

Karpathy 认为,“语言”这个词误导了很多人,让人以为 LLM 只能处理文本,但实际上,LLM 可以处理任何类型的离散 token 流,例如图像块、音频块、动作选择、分子结构等等!

只要你能把问题转化成对 token 流的建模,你就可以“把 LLM 扔进去”! 😎

LLM 的未来:所有问题都将变成 token 流?

Karpathy 还大胆预测,随着 LLM 技术栈越来越成熟,很多问题最终都会被转化成 token 流建模问题。也就是说,问题的形式固定为“预测下一个 token ”,只是每个领域使用的 token 的含义不同。

如果真是这样,那么像 PyTorch 这样的深度学习框架就显得过于“臃肿”了。毕竟,如果 80% 的问题只需要用 LLM 就能解决,那谁还需要成千上万个可以任意配置的运算符和层呢?

马斯克也来凑热闹:

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
“确实需要一个新名字。‘多模态 LLM(Multimodal LLM)’ 更是荒谬,第一个词和第三个词相互矛盾!”

网友 Clive Chan 的观点更犀利:

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人
“另一方面,也许所有可以自回归表达的东西都是语言,所有东西都可以扩展成一个 token 流,所以所有东西都是语言!”

Karpathy 最终总结道:

“当然,你可以把它想成‘说话的纹理’、‘说话的分子’等等。但我所看到的是,‘语言’这个词误导了人们,让他们认为 LLM 仅限于文本应用。”


Karpathy讨论的其实非常有意思,我们来上点哲学高度,法国解构主义大师(解构主义鼻祖)Jacques Derrida有一个非常有名的观点"There is nothing outside the text"

LLM和‘语言’没啥关系?Andrej Karpathy :名字起错了,误导了所有人

这是不是人工智能与人文的交叉路口?乔布斯如果还在世的话,不知道他会如何解读?大家怎么看?评论区见

相关栏目:『学人动向
袁伟时:人的自由有多大,是决定国家兴衰的重要因素 2025-08-20 [262]
黄奇帆的最新报告 2025-08-20 [750]
当年大批乌克兰专家来华援建,如今状况怎样? 2025-08-21 [181]
哥大教授:美国的大学不扩招 2025-08-21 [98]
包振山、卢东祥、刘波:激发八小时外经济活力打造扩内需促消费长效机制 2025-08-12 [412]
许倬云走了,他曾喊话中国青年:我劝你们振作 2025-08-05 [562]
瑞士商会名誉主席:职业教育如何作为国家竞争力引擎 2025-08-05 [602]
梁文道:励志书读多了,人会变傻的! 2025-08-05 [575]
《陈志武教授:思辨能力才是核心能力,多数中国学生不善表达》 2025-08-05 [569]
耶鲁大学教授给博士新生的真诚建议:博士之路,选择与坚持的艺术 2025-08-01 [676]
相关栏目更多文章
最新图文:
:日本政府《氢能利用进度表》 :美国《2016-2045年新兴科技趋势报告》 :天津工业大学“经纬英才”引进计划 :浙江财经大学国际青年学者论坛的邀请函 (10/31-11/1) :美国加大审查范围 北大多名美国留学生遭联邦调查局质询 :天安门广场喜迎“十一”花团锦簇的美丽景象 马亮:做院长就能够发更多论文?论文发表是不是一场“权力的游戏”? :印裔人才在美碾压华裔:我们可以从印度教育中学到什么?
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2025 ScholarsUpdate.com. All Rights Reserved.