推理服务 / 中等

MLX LM

Native Apple silicon inference, experimentation and fine-tuning

一手来源

难度中等安装难度

平台1apple

APIOpenAI-compatible server + CLI:8080

01 / 安装与运行

安装方式取决于操作系统。以下命令是示例或模板，请先替换占位符并核对量化版本、文件格式、驱动和运行时支持；内存适配不保证部署成功。

1
安装pip install mlx-lm
2
启动模型mlx_lm.server --model <verified-MLX-conversion>
3
接入你的应用
OpenAI-compatible server + CLI · :8080. 除非添加认证与网络访问控制，否则请将服务绑定到 localhost。

注意

Only for Apple silicon. Use an MLX-converted model and tune KV cache size for long contexts. The bundled mlx_lm.server is an OpenAI-compatible HTTP endpoint (default 127.0.0.1:8080), but upstream warns it implements only basic security checks and is not recommended for production.

02 / 兼容模型