推論服務 / 簡單

llamafile

Distributing a whole GGUF model as one runnable executable on Linux, macOS, Windows and BSD

一手來源

用你的硬體檢查這個執行階段的適配模型選裝置或顯示卡，只顯示該執行階段在這台機器上的適配路徑。

難度簡單安裝難度

平台5cpu · apple · nvidia · amd · intel

APIOpenAI + Anthropic-compatible:8080

01 / 安裝與執行

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1
安裝Download a prebuilt .llamafile for your model, or the llamafile binary plus an external GGUF
2
啟動模型./llamafile -m <downloaded-model.gguf> -ngl 999
3
連接你的應用
OpenAI + Anthropic-compatible · :8080. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。

注意

Windows can only execute files under 4 GB, so larger models need the standalone binary with external GGUF weights. Vulkan covers Intel and other GPUs, but AMD multi-GPU offload can break.

02 / 相容模型