硬體 / VRAM

NVIDIA · 16 GB

14B models are comfortable; 20B-class low-bit MoE models are a tight upper edge.

RTX 4080 / 5080 class16 GB

01 / 實際上限

Qwen3 14B

清單中排最前的模型可能是勉強適配或需要卸載的。日常使用建議選第一個標為 餘量充足 的結果，並保持上下文適中。

02 / 預設推論服務

vLLM

Linux GPU servers, concurrency and OpenAI-compatible production APIs. CUDA, ROCm and XPU feature coverage differs. Driver, shared-memory and quantization compatibility are version-specific.

開啟指南

03 / 模型範圍

代表性開放權重模型

Alibaba Qwen

Qwen3 14B

14BGGUF Q4

估算記憶體: ~11.2 GB
上下文: 32K+

Google

Gemma 3 12B

12BINT4

估算記憶體: ~9.4 GB
上下文: 128K

Alibaba Qwen

Qwen3 8B

8BGGUF Q4

估算記憶體: ~6.8 GB
上下文: 32K+

Alibaba Qwen

Qwen3 4B

4BGGUF Q4

估算記憶體: ~3.6 GB
上下文: 32K+

Google

Gemma 3 4B

4BINT4 / GGUF Q4

估算記憶體: ~4.2 GB
上下文: 128K

Llama 3.2 3B

3BGGUF Q4

估算記憶體: ~2.8 GB
上下文: 128K

注意

適配以估算的總模型記憶體為準。驅動支援、KV 快取、多模態投影層、併發以及桌面應用都可能進一步壓縮可用餘量。目前適配：Qwen3 14B (勉強適配), Gemma 3 12B (餘量充足), Qwen3 8B (餘量充足), Qwen3 4B (餘量充足), Gemma 3 4B (餘量充足), Llama 3.2 3B (餘量充足)。