AI 时代的显卡选择
2024 7 14 11:11 PM 0 条评论 36 次查看
先说下结论吧:
- 个人学习最简单的方案:16 寸 MacBook Pro M3 Max 128 GB 内存,靠谱的低价约 28000+ RMB。最大可进行约 70B Int8 量化模型的推理(如 Qwen2-72B-Instruct-GPTQ-Int8)。
- 个人学习+游戏需求:RTX 4090,不太好买,约 15000+ RMB。最大可进行约 30B Int4 量化模型或 7B 模型的推理。
- 小规模部署:双 RTX 4090。最大可进行约 70B Int4 或 AWQ 量化模型的推理(如 Qwen2-72B-Instruct-GPTQ-Int4)。
- 训练 70B 的模型:租 8 * Tesla A800/A100/H800/H100 80GB 的服务器(越往右性价比越高),每天约 1000~3000 RMB。
- 追求速度:用各个厂商的云服务。
其他不推荐的选项:
- 192 GB 内存的 Mac Studio 或 Mac Pro:型号较老,价格太贵,唯一的优势是可以进行约 70B 模型的推理。
- RTX 3090 等其他游戏显卡:相较于 RTX 4090 的性价比较低。
- Tesla A100 等高端专业显卡:价格太高,如果要进行 70B 模型的推理需要 2 张(约 15 万 RMB),性价比不如 4 张 RTX 4090。如果用于训练和微调,闲置时有点浪费。
- AMD 显卡:性价比较高,但生态不如 NVIDIA,这意味着很多库和工具不支持 AMD 显卡或性能较差,较新的论文和库一般都只有 NVIDIA 版。不适合学习,除非你确定正好能满足你的需求。
- 国产显卡:价格不低,生态较差,很多库无法使用或需要专门安装老版本的魔改版。