硬體 / VRAM

GeForce RTX 4090 · 24 GB

A 27B Q4 checkpoint can be a tight fit. Leave room for runtime overhead and KV cache instead of filling every gigabyte with weights.

一手來源

Consumer Ada GPU24 GB

01 / 實際上限

Nex-N2.5-mini

清單中排最前的模型可能是勉強適配或需要卸載的。日常使用建議選第一個標為 餘量充足 的結果，並保持上下文適中。

02 / 預設推論服務

llama.cpp

GGUF models, CPU/GPU offload, embedded and unusual hardware. New architectures may require a recent build. Backend availability does not imply equal performance. Since v0.7.0 (2026-10-15) llama-server listens on port 9931 by default instead of 8080; the example commands pin that port explicitly. Older builds accept the same --port flag but default to 8080.

開啟指南

03 / 模型範圍

代表性開放權重模型

Nex AGI

Nex-N2.5-mini

English

35BQ4 estimated budget

估算記憶體: ~21 GB
上下文: 262,144 (config max_position_embeddings)

Alibaba Qwen

Qwen3 30B-A3B

30B3B active · GGUF Q4 MoE

估算記憶體: ~22.5 GB
上下文: 32K+

Alibaba Qwen

Qwen3.6 27B

27BQ4 / NVFP4 estimate

估算記憶體: ~18.5 GB
上下文: 262K native

Alibaba Qwen

Qwen3.8 27B

27BQ4 estimate

估算記憶體: ~19.5 GB
上下文: 262K native

Google

Gemma 3 27B

27BINT4

估算記憶體: ~20.5 GB
上下文: 128K

Mistral AI

Devstral Small 2 24B

24BGGUF Q4 / BF16

估算記憶體: ~18.5 GB
上下文: 256K

注意

適配以估算的總模型記憶體為準。驅動支援、KV 快取、多模態投影層、併發以及桌面應用都可能進一步壓縮可用餘量。目前適配：Nex-N2.5-mini (勉強適配), Qwen3 30B-A3B (勉強適配), Qwen3.6 27B (勉強適配), Qwen3.8 27B (勉強適配), Gemma 3 27B (勉強適配), Devstral Small 2 24B (勉強適配)。