用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向科技前沿
关键字  范围   
 
最强开源大模型Llama3深夜发布 - 世界不能没有Meta
作者:数字生命卡兹克 | 2024/4/20 10:26:59 | 浏览:258 | 评论:0

其实昨天在微软的偷跑之后,就已经有消息说,Llama3要出了。

这个消息的振奋程度,对于AI圈来说,甚至不亚于所谓的GPT4.5。

毕竟,meta才是真正的那个"OpenAI"。

有多少大模型的生态,是建立在Llama上的,大家都懂。

而这个开源之光,被全世界无数人盯着的大模型,Llama3,在时隔近9个月之后的今晚。

终于正式发布了。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

我的几个朋友,都已经疯了,比如zR同学:

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

今夜无眠。

Llama3目前在自己的官网和huggingface上,模型已经上架:

https://llama.meta.com/llama3/

而且还是meta的老规矩,虽然写的是特定条件下商业使用(月活不得超越7亿),但是基本等于完全免费商用了。

这次开源了2个模型,8B和70B。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

然后就是大模型的传统艺能:跑分。

坦率的讲,他们这个跑分,有一点的离谱。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

5个评测集分别是MMLU(学科知识理解)、GPQA(一般问题)、HumanEval(代码能力)、GSM-8K(数学能力)、MATH(比较难得数学)

不管是8B还是70B,基本等于全线秒杀。

8B这边,直接把同尺寸的摁在地上打。

曾经的Mistral 7B也是有过辉煌的。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

现在也被干成了时代的眼泪。

甚至,Llama3自己的8B模型,效果都比Llama2的70B要好,这事就非常的特么离谱。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

而Llama3 70B那边,直接对标Gemini Pro 1.5(Gemini:我到底做错了啥)和Claude3 Sonnet。GPT-4逃过一截哈哈哈哈。

这个分数真的很恐怖了,毕竟参数量跟两玩意都不是一个量级的,Llama3只有70B,还能打的有来有回,虽然跟Claude3最牛逼的那个Opus还有一些差距,但是这特么是开源的啊!

他们还做了一个有趣的测试,搞了一个全新的高质量评估集。

里面包含 1800 个提示,涵盖 12 个关键用例,分别是:

寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。

最骚的是,为了防止过拟合,甚至Llama3自己的建模的团队事先都不知道这玩意。然后针对 Claude Sonnet、Mistral Medium 和 GPT-3.5,对这些类别和提示进行人工评估。

结果就是:

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

很强。

不过也有两个很der的点。

一个是知识库时间,一个是上下文长度。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

知识库这块,7B只到2023年3月,70B到了2023年12月。

上下文长度更是只有可怜的8K。

知识库的时间还好说,但是你这个上下文长度,在现在动不动200k的时代里,属实是有点不够看了。。

Llama3的训练数据,用了超过15T词库的预训练,是Llama 2的七倍。包含的代码数量是Llama 2的四倍。预训练数据集含5%以上的非英语数据,覆盖30多种语言。

而且,他们还有个400B的离谱玩意还在训练中。但是我觉得400B的这玩意大概率不会开源。。。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

再对比一下目前的主流的最强模型:

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

就...离谱

直接跟Claude3 Opus和GPT4 Turbo差不多,爆杀了Gemini Pro 1.5。

嗯。。。。无话可说。。。

现在可以直接在的官网用:https://www.meta.ai/

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

如果你没Meta账号的话,也可以在这用:https://llama3.replicate.dev/

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

当然,我相信更多的人,还是会下载下来,本地部署+微调。

Llama3的中文还是不咋地,几乎就没啥数据,所以还是得靠大佬微调以后才能用,前提是必须遵守Llama 3社区许可证和可接受使用政策。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

而我们再跑了2小时后,我们发现很突出的一点是,代码能力太炸了。

zR跑了很多的case(都是英文)。

比如一个经典的皇后问题。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta
Llama3-8B直接给出了解法:

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

然后,运行。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

这特么在Llama2中,基本是不可能的,只有专门的代码模型,才能搞定。

要知道,Llama3-8B,只是一个8B的通用大模型啊。。。

然后,我们又上了一个贼难的一题。按zR的话说,这就是leetcode上,最难的一题。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

题目是:

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

然后跑了一次,报错了,给了报错和答案错误,对话三次后:

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

。。。

他自闭了。

GPT4同样出错,享受跟Llama3-8B的同等待遇,还是没干出来。

但是Llama3-8B,干出来了。。。

太抽象了。。。

总结来说,Llama3这次,绝对是王炸级别的模型。

也可以当之无愧的说,就是最强的开源模型。

Meta再次证明了,自己才是那个"OpenAI",而那个OpenAI,只是个"CloseAI"。

世界不能没有Meta。

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

还有个小插曲是,今天还是吴恩达的生日。

所以话说回来,OpenAI你的GPT5还在等啥呢?

快狙击啊。别怂。

赶紧的。

我们等你。

相关栏目:『科技前沿
让我看看是谁还不会最基础的转录组差异分析? 2024-05-23 [15]
对准布儒斯特角 2024-05-23 [21]
浅谈激光聚变 2024-05-22 [58]
超级增强子全面促进基因表达 2024-05-20 [62]
牛津大学Snaith最新Science:带隙通用钝化可实现具有低光电压损失的稳定钙钛矿太阳能电池 2024-05-18 [61]
这种革命性的材料,竟暗藏健康环境危机 2024-05-16 [259]
可控核聚变撞上人工智能,会擦出什么火花? 2024-05-18 [72]
宇宙的拓扑结构可能并不简单! 2024-05-18 [105]
OpenAI一夜干翻语音助手!GPT-4o模型强到恐怖,ChatGPT学会看屏幕,现实版Her来了 2024-05-16 [113]
ChatGPT-4o,OpenAI的一小步,人类「AI助理」的一大步 2024-05-15 [83]
相关栏目更多文章
最新图文:
慕波:爬取7万条帖子  看看人们都是怎么吐槽相亲的 :陈文玲: 必须推动中美关系回到正确轨道 Colleen Flaherty 翻译 刘勤:MIT教授发文《美国经济评论》 :生命科学受益于明星科学家们的死亡 :北京和上海金融人的最新鄙视链 :日本政府《氢能利用进度表》 :美国《2016-2045年新兴科技趋势报告》 :天津工业大学“经纬英才”引进计划 :浙江财经大学国际青年学者论坛的邀请函 (10/31-11/1)
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2024 ScholarsUpdate.com. All Rights Reserved.