Swiftlet: запуск 80B Qwen в 4.3 GB RAM на Mac и 35B на iPhone
Swiftlet — Swift + Metal runtime для MoE-моделей Qwen3. Держит в памяти только маленькое dense ядро, streaming экспертов с диска. Qwen3-Next-80B-A3B (4-bit): 42 GB на диске, 4.3 GB RAM, 4.5-5 tok/s на M5 Mac. 35B-модель работает на iPhone 17 в ~2.5 GB RAM, ~1 tok/s.