TensorRT-LLM

安装方式取决于操作系统。以下命令是示例或模板，请先替换占位符并核对量化版本、文件格式、驱动和运行时支持；内存适配不保证部署成功。

1. 1
   安装python3 -m pip install tensorrt_llm -U --pre --extra-index-url https://pypi.nvidia.com
2. 2
   启动模型trtllm-serve <verified-engine-directory>
3. 3
   接入你的应用

   Triton or custom OpenAI-compatible serving. 除非添加认证与网络访问控制，否则请将服务绑定到 localhost。