推論服務 / 中等

LocalAI

One OpenAI-compatible endpoint for text, vision, speech and image models, GPU optional

一手來源

用你的硬體檢查這個執行階段的適配模型選裝置或顯示卡，只顯示該執行階段在這台機器上的適配路徑。

難度中等安裝難度

平台5cpu · apple · nvidia · amd · intel

APIOpenAI + Anthropic + ElevenLabs-compatible:8080

01 / 安裝與執行

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1
安裝docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
2
啟動模型local-ai run <verified-gallery-or-Hugging-Face-model-name>
3
連接你的應用
OpenAI + Anthropic + ElevenLabs-compatible · :8080. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。

注意

Backends are separate images pulled on demand, so the first run needs network access and disk. Pick the image tag for your accelerator; the CPU image does not silently enable a GPU. On Apple silicon, v4.10.0 (2026-09-17) is the minimum practical build: its release notes list a startup crash on Apple M5 as fixed.

02 / 相容模型