其实昨天在微软的偷跑之后，就已经有消息说，Llama3要出了。

这个消息的振奋程度，对于AI圈来说，甚至不亚于所谓的GPT4.5。

毕竟，meta才是真正的那个"OpenAI"。

有多少大模型的生态，是建立在Llama上的，大家都懂。

而这个开源之光，被全世界无数人盯着的大模型，Llama3，在时隔近9个月之后的今晚。

终于正式发布了。

我的几个朋友，都已经疯了，比如zR同学：

今夜无眠。

Llama3目前在自己的官网和huggingface上，模型已经上架：

https://llama.meta.com/llama3/

而且还是meta的老规矩，虽然写的是特定条件下商业使用（月活不得超越7亿），但是基本等于完全免费商用了。

这次开源了2个模型，8B和70B。

然后就是大模型的传统艺能：跑分。

坦率的讲，他们这个跑分，有一点的离谱。

5个评测集分别是MMLU（学科知识理解）、GPQA（一般问题）、HumanEval（代码能力）、GSM-8K（数学能力）、MATH（比较难得数学）

不管是8B还是70B，基本等于全线秒杀。

8B这边，直接把同尺寸的摁在地上打。

曾经的Mistral 7B也是有过辉煌的。

现在也被干成了时代的眼泪。

甚至，Llama3自己的8B模型，效果都比Llama2的70B要好，这事就非常的特么离谱。

而Llama3 70B那边，直接对标Gemini Pro 1.5（Gemini：我到底做错了啥）和Claude3 Sonnet。GPT-4逃过一截哈哈哈哈。

这个分数真的很恐怖了，毕竟参数量跟两玩意都不是一个量级的，Llama3只有70B，还能打的有来有回，虽然跟Claude3最牛逼的那个Opus还有一些差距，但是这特么是开源的啊！

他们还做了一个有趣的测试，搞了一个全新的高质量评估集。

里面包含 1800 个提示，涵盖 12 个关键用例，分别是：

寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。

最骚的是，为了防止过拟合，甚至Llama3自己的建模的团队事先都不知道这玩意。然后针对 Claude Sonnet、Mistral Medium 和 GPT-3.5，对这些类别和提示进行人工评估。

结果就是：

很强。

不过也有两个很der的点。

一个是知识库时间，一个是上下文长度。

知识库这块，7B只到2023年3月，70B到了2023年12月。

上下文长度更是只有可怜的8K。

知识库的时间还好说，但是你这个上下文长度，在现在动不动200k的时代里，属实是有点不够看了。。

Llama3的训练数据，用了超过15T词库的预训练，是Llama 2的七倍。包含的代码数量是Llama 2的四倍。预训练数据集含5%以上的非英语数据，覆盖30多种语言。

而且，他们还有个400B的离谱玩意还在训练中。但是我觉得400B的这玩意大概率不会开源。。。

再对比一下目前的主流的最强模型：

就...离谱

直接跟Claude3 Opus和GPT4 Turbo差不多，爆杀了Gemini Pro 1.5。

嗯。。。。无话可说。。。

现在可以直接在的官网用：https://www.meta.ai/

如果你没Meta账号的话，也可以在这用：https://llama3.replicate.dev/

当然，我相信更多的人，还是会下载下来，本地部署+微调。

Llama3的中文还是不咋地，几乎就没啥数据，所以还是得靠大佬微调以后才能用，前提是必须遵守Llama 3社区许可证和可接受使用政策。

而我们再跑了2小时后，我们发现很突出的一点是，代码能力太炸了。

zR跑了很多的case（都是英文）。

比如一个经典的皇后问题。

Llama3-8B直接给出了解法：

然后，运行。

这特么在Llama2中，基本是不可能的，只有专门的代码模型，才能搞定。

要知道，Llama3-8B，只是一个8B的通用大模型啊。。。

然后，我们又上了一个贼难的一题。按zR的话说，这就是leetcode上，最难的一题。

题目是：

然后跑了一次，报错了，给了报错和答案错误，对话三次后：

。。。

他自闭了。

GPT4同样出错，享受跟Llama3-8B的同等待遇，还是没干出来。

但是Llama3-8B，干出来了。。。

太抽象了。。。

总结来说，Llama3这次，绝对是王炸级别的模型。

也可以当之无愧的说，就是最强的开源模型。

Meta再次证明了，自己才是那个"OpenAI"，而那个OpenAI，只是个"CloseAI"。

世界不能没有Meta。

还有个小插曲是，今天还是吴恩达的生日。

所以话说回来，OpenAI你的GPT5还在等啥呢？

快狙击啊。别怂。

赶紧的。

我们等你。