गाइड पर वापस

RUNTIME / MEDIUM

MLX LM

Native Apple silicon inference, experimentation and fine-tuning

प्राथमिक स्रोत

DifficultyMediumSetup profile

Platforms1apple

APIPython server and CLI

01 / INSTALL & RUN

1
Installpip install mlx-lm
2
Start a modelmlx_lm.chat --model google/gemma-3-1b-it
3
Connect your app
Python server and CLI. Keep the service bound to localhost unless you add authentication and network controls.

सावधानी

Only for Apple silicon. Use an MLX-converted model and tune KV cache size for long contexts.

02 / COMPATIBLE MODELS

प्रतिनिधि ओपन-वेट मॉडल

Gemma 3 1B

1BINT4 / GGUF Q4

अनुमानित मेमोरी: ~1.4 GB
कॉन्टेक्स्ट: 32K

Llama 3.2 3B

अनुमानित मेमोरी: ~2.8 GB
कॉन्टेक्स्ट: 128K

Qwen3 4B

अनुमानित मेमोरी: ~3.6 GB
कॉन्टेक्स्ट: 32K+

Gemma 3 4B

4BINT4 / GGUF Q4

अनुमानित मेमोरी: ~4.2 GB
कॉन्टेक्स्ट: 128K

Qwen3 8B

अनुमानित मेमोरी: ~6.8 GB
कॉन्टेक्स्ट: 32K+

Gemma 3 12B

अनुमानित मेमोरी: ~9.4 GB
कॉन्टेक्स्ट: 128K