推理服务 / 中等

llama.cpp

GGUF models, CPU/GPU offload, embedded and unusual hardware

一手来源

难度中等安装难度

平台5cpu · apple · nvidia · amd · intel

APIOpenAI-compatible server:9931 default

01 / 安装与运行

安装方式取决于操作系统。以下命令是示例或模板，请先替换占位符并核对量化版本、文件格式、驱动和运行时支持；内存适配不保证部署成功。

1
安装brew install llama.cpp # or use upstream binaries
2
启动模型llama-server -m <downloaded-model.gguf> --ctx-size <verified-context> --port 9931
3
接入你的应用
OpenAI-compatible server · :9931 default. 除非添加认证与网络访问控制，否则请将服务绑定到 localhost。

注意

New architectures may require a recent build. Backend availability does not imply equal performance. Since v0.7.0 (2026-10-15) llama-server listens on port 9931 by default instead of 8080; the example commands pin that port explicitly. Older builds accept the same --port flag but default to 8080.

02 / 兼容模型