推論服務 / 中等

MLX LM

Native Apple silicon inference, experimentation and fine-tuning

一手來源

難度中等安裝難度

平台1apple

APIOpenAI-compatible server + CLI:8080

01 / 安裝與執行

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1
安裝pip install mlx-lm
2
啟動模型mlx_lm.server --model <verified-MLX-conversion>
3
連接你的應用
OpenAI-compatible server + CLI · :8080. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。

注意

Only for Apple silicon. Use an MLX-converted model and tune KV cache size for long contexts. The bundled mlx_lm.server is an OpenAI-compatible HTTP endpoint (default 127.0.0.1:8080), but upstream warns it implements only basic security checks and is not recommended for production.

02 / 相容模型