性能迎头赶上！AMD显卡实现大模型推理方案

(相关资料图)

NVIDIA的显卡在AI加速领域一直处于领先地位，其A100/H100等显卡受到科技巨头的追捧，GeForce游戏卡也是普通人进行AI开发的首选。然而，AMD显卡在这方面一直落后。近日，深度学习领域的华人专家、OctoML首席技术官陈天奇带领团队在AMD显卡上实现了大模型推理的方案，这意味着业界除了NVIDIA之外，又有了新的选择，消费者不再需要为了购买N卡而争抢、加价。根据陈天奇的优化算法，AMD的RX 7900 XTX显卡在Llama2的7B和13B大模型中，能够达到令人满意的性能，已经达到了RTX 4090显卡82%或者RTX 3090 Ti显卡的94%水平。AMD显卡不仅在性能上迎头赶上，其性价比也更高。RX 7900 XTX与其他两款显卡都是24GB显存，但售价只需999美元，而RTX 4090、RTX 3090 Ti的售价分别为1599、1999元，价格高出60-100%。AMD显卡在AI开发能力上的提升，尤其是RX 7900 XTX这样的游戏卡能有质变，主要归功于AMD最近在ROCm软件生态上的改进。以前，ROCm对游戏卡及Windows平台的支持很差，但从今年4月份开始，ROCm不仅支持Windows系统，也加入了对RX 7900及工作站显卡的支持。AMD还发布了ROCm HIP SDK，允许开发者将针对CUDA平台开发的代码轻松迁移到AMD平台，这是陈天奇等专家可以在AMD显卡上推动AI能力提升的基础。

关键词：