गाइड पर वापस

RUNTIME / MEDIUM

llama.cpp

GGUF models, CPU/GPU offload, embedded and unusual hardware

प्राथमिक स्रोत

DifficultyMediumSetup profile

Platforms5cpu · apple · nvidia · amd · intel

APIOpenAI-compatible server:8080

01 / INSTALL & RUN

1
Installbrew install llama.cpp # or use upstream binaries
2
Start a modelllama-server -hf google/gemma-3-1b-it --port 8080
3
Connect your app
OpenAI-compatible server · :8080. Keep the service bound to localhost unless you add authentication and network controls.

सावधानी

New architectures may require a recent build. Backend availability does not imply equal performance.

02 / COMPATIBLE MODELS

प्रतिनिधि ओपन-वेट मॉडल

Gemma 3 1B

1BINT4 / GGUF Q4

अनुमानित मेमोरी: ~1.4 GB
कॉन्टेक्स्ट: 32K

Llama 3.2 3B

अनुमानित मेमोरी: ~2.8 GB
कॉन्टेक्स्ट: 128K

Qwen3 4B

अनुमानित मेमोरी: ~3.6 GB
कॉन्टेक्स्ट: 32K+

Gemma 3 4B

4BINT4 / GGUF Q4

अनुमानित मेमोरी: ~4.2 GB
कॉन्टेक्स्ट: 128K

Qwen3 8B

अनुमानित मेमोरी: ~6.8 GB
कॉन्टेक्स्ट: 32K+

Gemma 3 12B

अनुमानित मेमोरी: ~9.4 GB
कॉन्टेक्स्ट: 128K