vLLM

安装方式取决于操作系统。以下命令是示例或模板，请先替换占位符并核对量化版本、文件格式、驱动和运行时支持；内存适配不保证部署成功。

1. 1
   安装uv pip install vllm --torch-backend=auto
2. 2
   启动模型vllm serve <verified-checkpoint> --dtype auto
3. 3
   接入你的应用

   OpenAI-compatible server · :8000. 除非添加认证与网络访问控制，否则请将服务绑定到 localhost。