Hugging Face Transformers теперь поддерживает GGUF-кванты llama.cpp
Transformers научились загружать GGUF-модели через from_pretrained, используя ggml-ядра для производительности, близкой к llama.cpp. Первый фокус — Apple Silicon и архитектура Qwen3.5. Рекомендуемый квант Q4_K_M (2.74 ГБ для 4B-модели).