推論服務 / 簡單

Unsloth

Running GGUF or MLX models from a desktop app that also trains and exports them

一手來源

用你的硬體檢查這個執行階段的適配模型選裝置或顯示卡，只顯示該執行階段在這台機器上的適配路徑。

難度簡單安裝難度

平台5cpu · apple · nvidia · amd · intel

APIOpenAI + Anthropic-compatible:8888 (printed at launch)

01 / 安裝與執行

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1
安裝curl -fsSL https://unsloth.ai/install.sh | sh # or download the Unsloth Desktop app
2
啟動模型unsloth run --model <verified-GGUF-or-MLX-repo-tag>
3
連接你的應用
OpenAI + Anthropic-compatible · :8888 (printed at launch). 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。

注意

Unsloth also fine-tunes, so its published VRAM savings are training numbers and not an inference fit claim. The local endpoint is an authenticated llama-server instance and the generated API key is shown once.

02 / 相容模型