01
Qwen3 30B-A3BSerré
ollama run qwen3:30b-a3bGuide pratique de l’IA privée
Le bon modèle.
Sur le matériel que vous avez.
Choisissez plateforme et mémoire. Obtenez une estimation prudente, le bon serveur et une commande exécutable.
Primary-source linked16 languagesSources vérifiées 2026-08-31
8 GB
24 GB
80GB
ollama runqwen3:8b
LOCAL / 24G
MEMORY MAP01—80 GB
RECOMMENDED ENVELOPE6 models
Confortable Serré
02
Gemma 3 27BSerré
ollama run gemma3:27b03
Devstral Small 2 24BSerré
ollama run <model-tag>04
gpt-oss-20bConfortable
ollama run gpt-oss:20b05
Qwen3 14BConfortable
ollama run qwen3:14b06
Gemma 3 12BConfortable
ollama run gemma3:12b02 / EVIDENCE FIRST
Une carte, pas un classement
Nous séparons paramètres totaux, paramètres MoE actifs, poids quantifiés, support et performances mesurées.
Weight fit ≠ speedTotal ≠ active parametersDocs ≠ benchmark
03 / HARDWARE MAP
Du portable discret à l’accélérateur 80 Go
Chaque classe a son budget mémoire, son moteur et sa limite réaliste.
8GB
Everyday laptop
8 GB CPU laptop
Small text models with short context. Expect patient, private inference rather than speed.
Ouvrir le guide16GB
No discrete GPU
16 GB CPU desktop
Comfortable with 3B–8B Q4 models; 12B is possible only with reduced context and patience.
Ouvrir le guide16GB
M-series notebook
Apple silicon · 16 GB
A polished 4B–8B local experience when the OS and apps have enough headroom.
Ouvrir le guide8GB
RTX 4060 class
NVIDIA · 8 GB
The mainstream 4B–8B tier. Some 12B INT4 builds fit tightly with modest context.
Ouvrir le guide12GB
RTX 3060 / 4070 class
NVIDIA · 12 GB
Strong 8B–14B Q4 territory for a single user.
Ouvrir le guide16GB
RTX 4080 / 5080 class
NVIDIA · 16 GB
14B models are comfortable; 20B-class low-bit MoE models are a tight upper edge.
Ouvrir le guide04 / MODEL FIELD NOTES
Modèles open-weight représentatifs
Google
Gemma 3 1B
1BINT4 / GGUF Q4
- Mémoire estimée
- ~1.4 GB
- Contexte
- 32K
Alibaba Qwen
Qwen3 4B
4BGGUF Q4
- Mémoire estimée
- ~3.6 GB
- Contexte
- 32K+
Alibaba Qwen
Qwen3 8B
8BGGUF Q4
- Mémoire estimée
- ~6.8 GB
- Contexte
- 32K+
OpenAI
gpt-oss-20b
21B3.6B active · MXFP4
- Mémoire estimée
- ~16 GB
- Contexte
- 128K
Alibaba Qwen
Qwen3 30B-A3B
30B3B active · GGUF Q4 MoE
- Mémoire estimée
- ~22.5 GB
- Contexte
- 32K+
05 / SERVING LAYER
Choisir la couche d’inférence
Fastest first run
Ollama
One-command local chat and app integration
Ouvrir le guideWidest hardware reach
llama.cpp
GGUF models, CPU/GPU offload, embedded and unusual hardware
Ouvrir le guideBest visual desktop
LM Studio
Discovering, downloading and testing models without a terminal
Ouvrir le guideApple silicon specialist
MLX LM
Native Apple silicon inference, experimentation and fine-tuning
Ouvrir le guideThroughput server
vLLM
Linux GPU servers, concurrency and OpenAI-compatible production APIs
Ouvrir le guideNVIDIA optimized
TensorRT-LLM
Maximum NVIDIA throughput after engine tuning
Ouvrir le guide06 / METHOD
Notre méthode
Nous partons des tailles et quantifications documentées, réservons de la mémoire au système et traitons le cache comme un coût en plus. MoE utilise le total.
CONSERVATIVE FITweights + runtime + cache
total params×bits / 8+headroom
No universal tokens/s claims.07 / FAQ
Avant de télécharger 40 Go
Does a 24 GB GPU run a 30B model?+
Often at Q4/INT4 with a conservative context. Qwen3 30B-A3B and Gemma 3 27B are representative fits, but cache and runtime overhead still matter.
Are active MoE parameters the memory requirement?+
No. Active parameters affect compute per token; total parameters still need to be stored in memory or offloaded.
Which runtime should a beginner choose?+
Ollama for a terminal-first setup or LM Studio for a visual desktop. llama.cpp is the portable fallback; vLLM is for higher-throughput GPU serving.
Do you benchmark speed?+
Not yet. Launch recommendations are transparent memory-fit estimates backed by primary documentation. We do not invent tokens-per-second numbers.