硬件 / UNIFIED MEMORY

Apple silicon · 16 GB

A polished 4B–8B local experience when the OS and apps have enough headroom.

M-series notebook16 GB

01 / 实际上限

Qwen3 14B

列表中排在最前的模型可能是勉强适配或需要卸载的。日常使用建议选第一个标为 余量充足 的结果，并保持上下文适中。

02 / 默认推理服务

MLX LM

Native Apple silicon inference, experimentation and fine-tuning. Only for Apple silicon. Use an MLX-converted model and tune KV cache size for long contexts. The bundled mlx_lm.server is an OpenAI-compatible HTTP endpoint (default 127.0.0.1:8080), but upstream warns it implements only basic security checks and is not recommended for production.

打开指南

03 / 模型范围

代表性开放权重模型

Alibaba Qwen

Qwen3 14B

14BGGUF Q4

估算内存: ~11.2 GB
上下文: 32K+

Google

Gemma 3 12B

12BINT4

估算内存: ~9.4 GB
上下文: 128K

Alibaba Qwen

Qwen3 8B

8BGGUF Q4

估算内存: ~6.8 GB
上下文: 32K+

Alibaba Qwen

Qwen3 4B

4BGGUF Q4

估算内存: ~3.6 GB
上下文: 32K+

Google

Gemma 3 4B

4BINT4 / GGUF Q4

估算内存: ~4.2 GB
上下文: 128K

Llama 3.2 3B

3BGGUF Q4

估算内存: ~2.8 GB
上下文: 128K

注意

适配基于估算的总模型内存。驱动支持、KV 缓存、多模态投影层、并发以及桌面应用都可能进一步压缩可用余量。当前适配：Qwen3 14B (勉强适配), Gemma 3 12B (勉强适配), Qwen3 8B (余量充足), Qwen3 4B (余量充足), Gemma 3 4B (余量充足), Llama 3.2 3B (余量充足)。