推論服務 / 中等

llama.cpp

GGUF models, CPU/GPU offload, embedded and unusual hardware

一手來源

難度中等安裝難度

平台5cpu · apple · nvidia · amd · intel

APIOpenAI-compatible server:9931 default

01 / 安裝與執行

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1
安裝brew install llama.cpp # or use upstream binaries
2
啟動模型llama-server -m <downloaded-model.gguf> --ctx-size <verified-context> --port 9931
3
連接你的應用
OpenAI-compatible server · :9931 default. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。

注意

New architectures may require a recent build. Backend availability does not imply equal performance. Since v0.7.0 (2026-10-15) llama-server listens on port 9931 by default instead of 8080; the example commands pin that port explicitly. Older builds accept the same --port flag but default to 8080.

02 / 相容模型