📰 IT Дайджест

#mlx

1 материал

3. SlotStream запускает 104-гигабайтную Qwen3.8-Flash-Next на Mac с 48 ГБ — 12 токенов/с

Проект SlotStream транслирует веса 125B MoE-модели Qwen3.8-Flash-Next (104 ГБ в 4-битном формате) с SSD, позволяя запускать её на Mac с 48 ГБ памяти. На M5 Pro получено ~12 токенов/с при пиковом потреблении 32 ГБ. Бинарник написан на Swift, поддерживает API Ollama и OpenAI.

github.com · #ai #llm #mac #mlx #optimization