lzp123 发表于 2026-6-3 10:33:04

mac 64g 能部署哪个本地大模型

最近想在本地部属个 qwenpaw 用用。设备是 mac m4 64g 。想知道这个能部署哪个本地大模型 不太懂 纯请教

快乐小牛 发表于 2026-6-3 11:25:06

whichllm 我测了下不太准，top1 并非最佳选择。它提到的模型权重，你得细看不同量化，还要考虑 kv cache 预留一些空间。

栀酒少女 发表于 2026-6-3 11:43:05

你是 mac ，直接下个 oMLX ，下模型的时候会建议你用哪个。而且基本限制了 MLX 模型格式，对于 mac 更友好。

qwe1831848900 发表于 2026-6-3 12:00:32

我正好写过类似工具

如果是稠密模型
运行时显存需求 = 模型参数 x dtype(是什么量化版本） + 冗余量 留给 kv cache

如果是 moe 的模型
实际运行时显存需求 少于上面

用 13b 模型为例
格式            每参数字节    13B 权重
FP16/BF16         2B         ~26 GB
FP8 (E4M3)      1B         ~13 GB
NVFP4            0.5B      ~7 GB

kv cache 按照 1/4 冗余计算

26 * 5/4
13 * 5/4
7 * 5/4

独行 发表于 2026-6-3 12:24:04

一般 小设备都跑 nvfp4 或者 fp8

mac fp8 的话 你大概跑 36 - 40+ 左右的差不多了 但可能你做其他功能就卡了

2782186427 发表于 2026-6-3 13:30:06

目前比较好的应该是 qwen3.6-35b-a3b 或 qwen3.6-27b

Zuri 发表于 2026-6-3 18:35:08

是 max pro 还是 ultra ？不一样的。

xiaobin 发表于 2026-6-3 19:35:09

不建议个人电脑跑参数小的大语言模型，能跑但没什么卵用。1. 太慢了； 2. 太弱智了。
不如花点钱调用顶级模型的 API 。
页: [1]
查看完整版本: mac 64g 能部署哪个本地大模型