硬件 / VRAM

Workstation · 48 GB

70B Q4 serving begins here, with limited room for cache and concurrency.

RTX 6000 / dual GPU48 GB

01 / 实际上限

Nex-N2.5-mini

列表中排在最前的模型可能是勉强适配或需要卸载的。日常使用建议选第一个标为 余量充足 的结果，并保持上下文适中。

02 / 默认推理服务

vLLM

Linux GPU servers, concurrency and OpenAI-compatible production APIs. CUDA, ROCm and XPU feature coverage differs. Driver, shared-memory and quantization compatibility are version-specific.

打开指南

03 / 模型范围

代表性开放权重模型

Nex AGI

Nex-N2.5-mini

English

35BQ4 estimated budget

估算内存: ~21 GB
上下文: 262,144 (config max_position_embeddings)

Alibaba Qwen

Qwen3.6 35B-A3B

35B3B active · Q4 / NVFP4 MoE

估算内存: ~25 GB
上下文: 262K native

Alibaba Qwen

Qwen3 32B

32BGGUF Q4

估算内存: ~24.5 GB
上下文: 32K+

Alibaba Qwen

Qwen3 30B-A3B

30B3B active · GGUF Q4 MoE

估算内存: ~22.5 GB
上下文: 32K+

Alibaba Qwen

Qwen3.6 27B

27BQ4 / NVFP4 estimate

估算内存: ~18.5 GB
上下文: 262K native

Alibaba Qwen

Qwen3.8 27B

27BQ4 estimate

估算内存: ~19.5 GB
上下文: 262K native

注意

适配基于估算的总模型内存。驱动支持、KV 缓存、多模态投影层、并发以及桌面应用都可能进一步压缩可用余量。当前适配：Nex-N2.5-mini (余量充足), Qwen3.6 35B-A3B (余量充足), Qwen3 32B (余量充足), Qwen3 30B-A3B (余量充足), Qwen3.6 27B (余量充足), Qwen3.8 27B (余量充足)。