01
Qwen3 30B-A3Bसीमित
ollama run qwen3:30b-a3bनिजी AI की व्यावहारिक गाइड
सही मॉडल चलाएँ।
अपने मौजूदा हार्डवेयर पर।
प्लेटफ़ॉर्म और मेमोरी चुनें। सावधानीपूर्ण मॉडल फ़िट, सही इन्फ़रेंस सर्वर और चलने योग्य कमांड पाएँ।
Primary-source linked16 languagesसाक्ष्य अपडेट 2026-08-31
8 GB
24 GB
80GB
ollama runqwen3:8b
LOCAL / 24G
MEMORY MAP01—80 GB
RECOMMENDED ENVELOPE6 models
आराम से सीमित
02
Gemma 3 27Bसीमित
ollama run gemma3:27b03
Devstral Small 2 24Bसीमित
ollama run <model-tag>04
gpt-oss-20bआराम से
ollama run gpt-oss:20b05
Qwen3 14Bआराम से
ollama run qwen3:14b06
Gemma 3 12Bआराम से
ollama run gemma3:12b02 / EVIDENCE FIRST
रैंकिंग नहीं, एक नक्शा
कुल पैरामीटर, सक्रिय MoE पैरामीटर, क्वांटाइज़्ड फ़िट, रनटाइम समर्थन और मापी गई गति को अलग रखते हैं।
Weight fit ≠ speedTotal ≠ active parametersDocs ≠ benchmark
03 / HARDWARE MAP
लैपटॉप से 80GB एक्सेलेरेटर तक
हर डिवाइस की मेमोरी सीमा, रनटाइम रास्ता और ईमानदार ऊपरी सीमा अलग है।
8GB
Everyday laptop
8 GB CPU laptop
Small text models with short context. Expect patient, private inference rather than speed.
गाइड खोलें16GB
No discrete GPU
16 GB CPU desktop
Comfortable with 3B–8B Q4 models; 12B is possible only with reduced context and patience.
गाइड खोलें16GB
M-series notebook
Apple silicon · 16 GB
A polished 4B–8B local experience when the OS and apps have enough headroom.
गाइड खोलें8GB
RTX 4060 class
NVIDIA · 8 GB
The mainstream 4B–8B tier. Some 12B INT4 builds fit tightly with modest context.
गाइड खोलें12GB
RTX 3060 / 4070 class
NVIDIA · 12 GB
Strong 8B–14B Q4 territory for a single user.
गाइड खोलें16GB
RTX 4080 / 5080 class
NVIDIA · 16 GB
14B models are comfortable; 20B-class low-bit MoE models are a tight upper edge.
गाइड खोलें04 / MODEL FIELD NOTES
प्रतिनिधि ओपन-वेट मॉडल
Google
Gemma 3 1B
1BINT4 / GGUF Q4
- अनुमानित मेमोरी
- ~1.4 GB
- कॉन्टेक्स्ट
- 32K
Alibaba Qwen
Qwen3 4B
4BGGUF Q4
- अनुमानित मेमोरी
- ~3.6 GB
- कॉन्टेक्स्ट
- 32K+
Alibaba Qwen
Qwen3 8B
8BGGUF Q4
- अनुमानित मेमोरी
- ~6.8 GB
- कॉन्टेक्स्ट
- 32K+
OpenAI
gpt-oss-20b
21B3.6B active · MXFP4
- अनुमानित मेमोरी
- ~16 GB
- कॉन्टेक्स्ट
- 128K
Alibaba Qwen
Qwen3 30B-A3B
30B3B active · GGUF Q4 MoE
- अनुमानित मेमोरी
- ~22.5 GB
- कॉन्टेक्स्ट
- 32K+
05 / SERVING LAYER
काम के लिए सही सर्विंग लेयर
Fastest first run
Ollama
One-command local chat and app integration
गाइड खोलेंWidest hardware reach
llama.cpp
GGUF models, CPU/GPU offload, embedded and unusual hardware
गाइड खोलेंBest visual desktop
LM Studio
Discovering, downloading and testing models without a terminal
गाइड खोलेंApple silicon specialist
MLX LM
Native Apple silicon inference, experimentation and fine-tuning
गाइड खोलेंThroughput server
vLLM
Linux GPU servers, concurrency and OpenAI-compatible production APIs
गाइड खोलेंNVIDIA optimized
TensorRT-LLM
Maximum NVIDIA throughput after engine tuning
गाइड खोलें06 / METHOD
अनुमान कैसे बनते हैं
आधिकारिक आकार और क्वांटाइज़ेशन से शुरू करके OS और रनटाइम के लिए जगह रखते हैं; कॉन्टेक्स्ट कैश अतिरिक्त है। MoE में कुल पैरामीटर गिने जाते हैं।
CONSERVATIVE FITweights + runtime + cache
total params×bits / 8+headroom
No universal tokens/s claims.07 / FAQ
40GB डाउनलोड से पहले
Does a 24 GB GPU run a 30B model?+
Often at Q4/INT4 with a conservative context. Qwen3 30B-A3B and Gemma 3 27B are representative fits, but cache and runtime overhead still matter.
Are active MoE parameters the memory requirement?+
No. Active parameters affect compute per token; total parameters still need to be stored in memory or offloaded.
Which runtime should a beginner choose?+
Ollama for a terminal-first setup or LM Studio for a visual desktop. llama.cpp is the portable fallback; vLLM is for higher-throughput GPU serving.
Do you benchmark speed?+
Not yet. Launch recommendations are transparent memory-fit estimates backed by primary documentation. We do not invent tokens-per-second numbers.