推理服务 / 简单

Unsloth

Running GGUF or MLX models from a desktop app that also trains and exports them

一手来源

用你的硬件检查这个运行时的适配模型选设备或显卡，只显示该运行时在这台机器上的适配路径。

难度简单安装难度

平台5cpu · apple · nvidia · amd · intel

APIOpenAI + Anthropic-compatible:8888 (printed at launch)

01 / 安装与运行

安装方式取决于操作系统。以下命令是示例或模板，请先替换占位符并核对量化版本、文件格式、驱动和运行时支持；内存适配不保证部署成功。

1
安装curl -fsSL https://unsloth.ai/install.sh | sh # or download the Unsloth Desktop app
2
启动模型unsloth run --model <verified-GGUF-or-MLX-repo-tag>
3
接入你的应用
OpenAI + Anthropic-compatible · :8888 (printed at launch). 除非添加认证与网络访问控制，否则请将服务绑定到 localhost。

注意

Unsloth also fine-tunes, so its published VRAM savings are training numbers and not an inference fit claim. The local endpoint is an authenticated llama-server instance and the generated API key is shown once.

02 / 兼容模型