需要购买国产显卡本地部署大模型,哪家的比较好
从部署、厂商支持等角度来说200w 以内显卡预算 有没有有经验的老哥 摩尔 s5000 的 8 卡整机 昇腾 910B2 这么厉害的预算,是啥应用啊 最合适的是 PPU 1 代,16 卡。 最近涨价了预算不知道够不够。
PPPU 2 代,刚发布,8 卡,能买得到应该是最佳。
考虑昇腾系列的前提是,你们技术能力极强且有 10 几人的底层工程师可以调试改 bug ,或者财大气粗让华为的工程师驻场。 最近公司也有这需求,预算差不多,想部署 deepseek v4 除了华为卡都支持 cuda,但是 cuda 版本可能很老,而且需要的一些其他基础设施要自己实现,不过有大模型写这些也不算什么难事.避坑一些特殊规格的比如一卡两芯的,选比较新的卡都差不多,海光的挺好用的 没经验不推荐国产显卡部署,坑太多了。如果非要部署建议找那种专门承接离线大模型部署业务的公司,直接上门安装包售后那种。 国产显卡性能差,你即使部署了本地大模型效果也远不如网页版的能力,只能说不清楚需求。
页:
[1]
2