01
ollama run qwen3:30b-a3b프라이빗 AI 현장 가이드
맞는 모델을,
이미 가진 장비에서.
플랫폼과 메모리를 고르면 보수적인 모델 적합도, 알맞은 추론 서버, 실행 가능한 명령을 제공합니다.
Primary-source linked16 languages근거 업데이트 2026-08-31
8 GB
24 GB
80GB
ollama runqwen3:8b
LOCAL / 24G
MEMORY MAP01—80 GB
RECOMMENDED ENVELOPE6 models
여유 있음 빠듯함
02
Gemma 3 27B빠듯함
ollama run gemma3:27b03
ollama run <model-tag>04
gpt-oss-20b여유 있음
ollama run gpt-oss:20b05
Qwen3 14B여유 있음
ollama run qwen3:14b06
Gemma 3 12B여유 있음
ollama run gemma3:12b02 / EVIDENCE FIRST
순위표가 아닌 지도
총 파라미터, MoE 활성 파라미터, 양자화 용량, 런타임 지원, 실측 성능을 구분합니다.
Weight fit ≠ speedTotal ≠ active parametersDocs ≠ benchmark
03 / HARDWARE MAP
노트북부터 80GB 가속기까지
장치마다 메모리 예산, 추론 경로, 현실적인 상한이 다릅니다.
8GB
Everyday laptop
8 GB CPU laptop
Small text models with short context. Expect patient, private inference rather than speed.
가이드 열기16GB
No discrete GPU
16 GB CPU desktop
Comfortable with 3B–8B Q4 models; 12B is possible only with reduced context and patience.
가이드 열기16GB
M-series notebook
Apple silicon · 16 GB
A polished 4B–8B local experience when the OS and apps have enough headroom.
가이드 열기8GB
RTX 4060 class
NVIDIA · 8 GB
The mainstream 4B–8B tier. Some 12B INT4 builds fit tightly with modest context.
가이드 열기12GB
RTX 3060 / 4070 class
NVIDIA · 12 GB
Strong 8B–14B Q4 territory for a single user.
가이드 열기16GB
RTX 4080 / 5080 class
NVIDIA · 16 GB
14B models are comfortable; 20B-class low-bit MoE models are a tight upper edge.
가이드 열기04 / MODEL FIELD NOTES
대표 오픈 웨이트 모델
05 / SERVING LAYER
목적에 맞는 서빙 레이어
Fastest first run
Ollama
One-command local chat and app integration
가이드 열기Widest hardware reach
llama.cpp
GGUF models, CPU/GPU offload, embedded and unusual hardware
가이드 열기Best visual desktop
LM Studio
Discovering, downloading and testing models without a terminal
가이드 열기Apple silicon specialist
MLX LM
Native Apple silicon inference, experimentation and fine-tuning
가이드 열기Throughput server
vLLM
Linux GPU servers, concurrency and OpenAI-compatible production APIs
가이드 열기NVIDIA optimized
TensorRT-LLM
Maximum NVIDIA throughput after engine tuning
가이드 열기06 / METHOD
추정 방식
공식 모델 크기와 양자화를 기준으로 OS와 런타임 여유를 두고, 컨텍스트 캐시는 별도 비용으로 봅니다. MoE는 총 파라미터를 사용합니다.
CONSERVATIVE FITweights + runtime + cache
total params×bits / 8+headroom
No universal tokens/s claims.07 / FAQ
40GB 다운로드 전 확인
Does a 24 GB GPU run a 30B model?+
Often at Q4/INT4 with a conservative context. Qwen3 30B-A3B and Gemma 3 27B are representative fits, but cache and runtime overhead still matter.
Are active MoE parameters the memory requirement?+
No. Active parameters affect compute per token; total parameters still need to be stored in memory or offloaded.
Which runtime should a beginner choose?+
Ollama for a terminal-first setup or LM Studio for a visual desktop. llama.cpp is the portable fallback; vLLM is for higher-throughput GPU serving.
Do you benchmark speed?+
Not yet. Launch recommendations are transparent memory-fit estimates backed by primary documentation. We do not invent tokens-per-second numbers.