TensorRT-LLM

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1. 1
   安裝python3 -m pip install tensorrt_llm -U --pre --extra-index-url https://pypi.nvidia.com
2. 2
   啟動模型trtllm-serve <verified-engine-directory>
3. 3
   連接你的應用

   Triton or custom OpenAI-compatible serving. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。