गाइड पर वापस

RUNTIME / ADVANCED

vLLM

Linux GPU servers, concurrency and OpenAI-compatible production APIs

प्राथमिक स्रोत

DifficultyAdvancedSetup profile

Platforms3nvidia · amd · intel

APIOpenAI-compatible server:8000

01 / INSTALL & RUN

1
Installuv pip install vllm --torch-backend=auto
2
Start a modelvllm serve google/gemma-3-1b-it --dtype auto
3
Connect your app
OpenAI-compatible server · :8000. Keep the service bound to localhost unless you add authentication and network controls.

सावधानी

CUDA, ROCm and XPU feature coverage differs. Driver, shared-memory and quantization compatibility are version-specific.

02 / COMPATIBLE MODELS

प्रतिनिधि ओपन-वेट मॉडल

Gemma 3 1B

1BINT4 / GGUF Q4

अनुमानित मेमोरी: ~1.4 GB
कॉन्टेक्स्ट: 32K

Llama 3.2 3B

अनुमानित मेमोरी: ~2.8 GB
कॉन्टेक्स्ट: 128K

Qwen3 4B

अनुमानित मेमोरी: ~3.6 GB
कॉन्टेक्स्ट: 32K+

Gemma 3 4B

4BINT4 / GGUF Q4

अनुमानित मेमोरी: ~4.2 GB
कॉन्टेक्स्ट: 128K

Qwen3 8B

अनुमानित मेमोरी: ~6.8 GB
कॉन्टेक्स्ट: 32K+

Gemma 3 12B

अनुमानित मेमोरी: ~9.4 GB
कॉन्टेक्स्ट: 128K