返回指南
硬體 / UNIFIED MEMORY

Framework Desktop · Ryzen AI Max+ 395 · 128 GB

A 128 GB Strix Halo desktop. AMD allows a large graphics-memory allocation, but usable capacity and speed depend on BIOS, driver, and runtime support.

一手來源
Radeon 8060S compact desktop128 GB
01 / 實際上限

Qwen3.8 Flash Next

清單中排最前的模型可能是勉強適配或需要卸載的。日常使用建議選第一個標為 餘量充足 的結果,並保持上下文適中。

02 / 預設推論服務

llama.cpp

GGUF models, CPU/GPU offload, embedded and unusual hardware. New architectures may require a recent build. Backend availability does not imply equal performance. Since v0.7.0 (2026-10-15) llama-server listens on port 9931 by default instead of 8080; the example commands pin that port explicitly. Older builds accept the same --port flag but default to 8080.

開啟指南
03 / 模型範圍

代表性開放權重模型

Alibaba Qwen

Qwen3.8 Flash Next

English
180BQ4 estimated budget
估算記憶體
~108 GB
上下文
262,144 native; 1M extended
inclusionAI

Ling-3.0-flash

English
124BQ4 estimated budget
估算記憶體
~74.4 GB
上下文
Check selected runtime and checkpoint
OpenAI

gpt-oss-120b

117B5.1B active · MXFP4
估算記憶體
~80 GB
上下文
128K
Meta

Llama 4 Scout

109B17B active · INT4 MoE
估算記憶體
~78 GB
上下文
10M advertised
Meta

Llama 3.1 70B

70BGGUF Q4
估算記憶體
~46 GB
上下文
128K
Nex AGI

Nex-N2.5-mini

English
35BQ4 estimated budget
估算記憶體
~21 GB
上下文
262,144 (config max_position_embeddings)
注意

適配以估算的總模型記憶體為準。驅動支援、KV 快取、多模態投影層、併發以及桌面應用都可能進一步壓縮可用餘量。目前適配:Qwen3.8 Flash Next (勉強適配), Ling-3.0-flash (餘量充足), gpt-oss-120b (餘量充足), Llama 4 Scout (餘量充足), Llama 3.1 70B (餘量充足), Nex-N2.5-mini (餘量充足)。