一、ZLUDA 凉了?
众所周知,英伟达(Nvidia)最强大的还不只是硬件,CUDA(Compute Unified Device Architecture)开发与生态系统更是其牢不可破的护城河。
CUDA 是基于 C 语言写的一套封闭软件,在 2006 年由英伟达推出,它可以让开发者在 GPU 上编写和运行代码,专门用于 GPU 加速计算。
这么多年来,开发用户们早已习惯了使用 CUDA,很难有动力再做迁移适配到其它第三方硬件平台,毕竟这种繁重耗时的工作并不能产生经济效益。
如何将 CUDA 应用迁移到第三方硬件平台,一直是英伟达对手们的一个难点。
ZLUDA 就是在这样一个背景下诞生的,使用 ZLUDA 这样的转换层是在非英伟达硬件上运行 CUDA 程序。
又能用上 CUDA 应用的加速效果,又能兼容各种第三方硬件平台。
项目地址:
https://github.com/vosen/ZLUDA
看着英特尔和 AMD 最近参与的 ZLUDA 等计划,英伟达正式出手。
据软件工程师 Longhorn 透露,在 CUDA 11.6 及更高版本时包含的 EULA(最终用户许可协议)中,在安装的时候增加了这样一项条款:
您不得对使用 SDK 元素生成的输出的任何部分进行逆向工程、反编译或反汇编,以将此类输出工件转换为目标非 NVIDIA 平台。
也就是说,从 CUDA 11.6版本开始,用户在安装 CUDA 的时候就会在 EULA 中看到相关警告条款。
这也是英伟达第一次,将这样的警告包含在安装过程中放置在主机系统上的文档里。
二、Moondream
Moondream2 是一个拥有 18 亿参数的视觉 AI 大模型,能够进行多模态问答。
而这样的一个开源模型,不用 GPU 也能运行。
作者在 Moondream1 发布的时候表示:
如今 Moondream2 也发布了,效果有了进一步的提升。
Moondream2 采用了 SigLIP 和 Phi 1.5 技术做训练。
效果如下图所示:
作者表示,在 8G 内存的机器上运行都毫无压力,windows、linux、mac 都能跑,不用 GPU 也行。
项目地址:
https://github.com/vikhyat/moondream
在线体验:
https://huggingface.co/vikhyatk/moondream2
三、TripoSR
在以前,通过单张图片渲染生成一个 3D 模型,耗时又耗资源。
而现在,无需 GPU 即可部署,只需 0.5 秒,TripoSR 就能把单张图片转化为一个几何结构完整、材质纹理清晰的 3D 模型
不得不说,技术进步得真快。
开源这项技术的公司中,也有 Stability AI 的身影,就是那个发布 Stable Diffusion 的公司。
再给它几年的时间,可能就直接通过文本描述生成对应的 3D 模型了吧。
项目地址:
https://github.com/vast-ai-research/triposr