vLLM

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1. 1
   安裝uv pip install vllm --torch-backend=auto
2. 2
   啟動模型vllm serve <verified-checkpoint> --dtype auto
3. 3
   連接你的應用

   OpenAI-compatible server · :8000. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。