推論服務 / 中等

OpenVINO Model Server

Serving OpenVINO IR models on Intel CPUs, Arc GPUs and NPUs with one API

一手來源

用你的硬體檢查這個執行階段的適配模型選裝置或顯示卡，只顯示該執行階段在這台機器上的適配路徑。

難度中等安裝難度

平台2intel · cpu

APIOpenAI-compatible:8000

01 / 安裝與執行

安裝方式取決於作業系統。以下指令是範例或範本，請先替換佔位符並核對量化版本、檔案格式、驅動與執行環境支援；記憶體適配不保證部署成功。

1
安裝docker pull openvino/model_server:latest-gpu
2
啟動模型ovms --source_model <verified-OpenVINO-IR-model> --model_repository_path /models --rest_port 8000
3
連接你的應用
OpenAI-compatible · :8000. 除非加入驗證與網路存取控制，否則請將服務綁定到 localhost。

注意

`latest` is the Intel CPU image and `latest-gpu` adds Intel GPU/NPU; NPU execution needs a current Intel driver. Models are served as OpenVINO IR, so a checkpoint with no IR export or an unsupported architecture is not a fit. Release v2026.4.0 adds Qwen3.8-27B IR support, Eagle-3 speculative decoding and preview support for MTP and DFlash; the MTP and DFlash paths are labelled preview rather than default.

02 / 相容模型