“花了更高的价格租了张A100,跑起来居然还没我自己电脑上的3090快”——这是很多AI开发者、算法工程师都遇到过的困惑。
按理说A100是专为数据中心设计的专业计算卡,性能应该全面碾压消费级的RTX3090才对。batchsize偏小:GPU并行能力发挥不出来,A100的“大算力”被闲置,3090反而因为架构更轻量跑得更利索。也就是说,A100不是任何场景下都“碾压”3090,得看任务类型和代码到底怎么写的。如果你租到的其实是MIG切分后的“半张A100”,性能自然比不过一张完整的3090。三者配合到位,A100的真实性能才能被彻底释放出来。但如果任务规模不大、batchsize不够、GPU利用率上不去,或者CPU、磁盘这些配套拖后腿,那A100跑不过本地3090,一点都不奇怪。
免责声明:本文由用户上传,与本网站立场无关,如有侵权请联系删除!财经信息仅供读者参考,并不构成投资建议,投资者据此操作,风险自担。
