硬件 / UNIFIED MEMORY
Mac Studio M3 Ultra · 256 GB
Enough capacity for many 100B-plus low-bit models, provided the architecture is supported and optimized by the selected runtime.
一手来源Large-memory Apple desktop256 GB
01 / 实际上限
DeepSeek V4 Flash
列表中排在最前的模型可能是勉强适配或需要卸载的。日常使用建议选第一个标为 余量充足 的结果，并保持上下文适中。
02 / 默认推理服务
MLX LM
Native Apple silicon inference, experimentation and fine-tuning. Only for Apple silicon. Use an MLX-converted model and tune KV cache size for long contexts. The bundled mlx_lm.server is an OpenAI-compatible HTTP endpoint (default 127.0.0.1:8080), but upstream warns it implements only basic security checks and is not recommended for production.
打开指南03 / 模型范围
代表性开放权重模型
DeepSeek
DeepSeek V4 Flash
284B13B active · Official FP4 + FP8 mixed
- 估算内存
- ~176 GB
- 上下文
- 1M native
Community REAP build
Qwen3.8 Flash Next REAP-288
176BREAP-288 · MLX 4-bit · PLE on NVMe
- 估算内存
- ~40.57 GB
- 上下文
- 7.6K recommended on measured 48 GB Mac
OpenAI
gpt-oss-120b
117B5.1B active · MXFP4
- 估算内存
- ~80 GB
- 上下文
- 128K
Meta
Llama 4 Scout
109B17B active · INT4 MoE
- 估算内存
- ~78 GB
- 上下文
- 10M advertised
Meta
Llama 3.1 70B
70BGGUF Q4
- 估算内存
- ~46 GB
- 上下文
- 128K
Alibaba Qwen
Qwen3.6 35B-A3B
35B3B active · Q4 / NVFP4 MoE
- 估算内存
- ~25 GB
- 上下文
- 262K native
注意
适配基于估算的总模型内存。驱动支持、KV 缓存、多模态投影层、并发以及桌面应用都可能进一步压缩可用余量。当前适配：DeepSeek V4 Flash (勉强适配), Qwen3.8 Flash Next REAP-288 (余量充足), gpt-oss-120b (余量充足), Llama 4 Scout (余量充足), Llama 3.1 70B (余量充足), Qwen3.6 35B-A3B (余量充足)。