推理服务 / 中等
OpenVINO Model Server
Serving OpenVINO IR models on Intel CPUs, Arc GPUs and NPUs with one API
一手来源用你的硬件检查这个运行时的适配模型选设备或显卡，只显示该运行时在这台机器上的适配路径。
难度中等安装难度
平台2intel · cpu
APIOpenAI-compatible:8000
01 / 安装与运行
安装方式取决于操作系统。以下命令是示例或模板，请先替换占位符并核对量化版本、文件格式、驱动和运行时支持；内存适配不保证部署成功。
- 1安装
docker pull openvino/model_server:latest-gpu - 2启动模型
ovms --source_model <verified-OpenVINO-IR-model> --model_repository_path /models --rest_port 8000 - 3接入你的应用
OpenAI-compatible · :8000. 除非添加认证与网络访问控制，否则请将服务绑定到 localhost。
注意
`latest` is the Intel CPU image and `latest-gpu` adds Intel GPU/NPU; NPU execution needs a current Intel driver. Models are served as OpenVINO IR, so a checkpoint with no IR export or an unsupported architecture is not a fit. Release v2026.4.0 adds Qwen3.8-27B IR support, Eagle-3 speculative decoding and preview support for MTP and DFlash; the MTP and DFlash paths are labelled preview rather than default.
02 / 兼容模型