VIDIA的显卡还在AI加速上遥遥领先不仅科技巨头都在抢A100/H100等显卡

除了玩游戏，NVIDIA的显卡还在AI加速上遥遥领先，不仅科技巨头都在抢A100/H100等显卡，GeForce游戏卡也是普通人搞AI炼丹的选择，AMD显卡在这方面落后不少。

好消息是AMD现在也能追上来了，深度学习领域的华人大神、OctoMLCTO陈天奇带领团队在AMD显卡上做出了大模型推理的方案，这意味着业界又有NVIDI之外的选择，不用为N卡抢破头、加价而困扰了。

根据他的优化算法，在Llama2的7B和13B大模型中，用RX7900XTX显卡也能跑出让人满意的性能，性能已经达到了RTX4090显卡82%或者RTX3090Ti显卡的94%水平。

不仅是性能追上来了，AMD显卡的性价比也要高得多，RX7900XTX跟其他两款显卡都是24GB显存，但只要999美元，RTX4090、RTX3090Ti分别是1599、1999元，价格高出60-100%。

当然，RX7900XTX现在的价格早就松动了，实际售价比999美元便宜不少，而N卡价格一直坚挺。

究其根底，A卡在AI炼丹能力上的提升，尤其是RX7900XTX这样的游戏卡能有质变，还是AMD最近在ROCm软件生态上的改进，以前后者对游戏卡及Win平台的支持很差，4月份开始不仅支持Windows系统，也加入了对RX7900及工作站显卡的支持。

同时AMD还发布了ROCmHIPSDK，允许开发者将针对CUDA平台开发的代码轻松迁移到AMD平台，这有是陈天奇等大神可以在AMD显卡上推动AI能力提升的基础。