Open source движок инференса, который компилирует ядра под ваше железо и работает до 2x быстрее llama.cpp
Анонсирован open source движок для локального инференса (альтернатива LM Studio, Unsloth Desktop), который автоматически компилирует и тюнит ядра под конкретное устройство. Обещает ускорение до 2x по сравнению с llama.cpp. Работает на Apple Silicon, NVIDIA, AMD и CPU. Детали пока не раскрыты.