Запуск 284B DeepSeek на 64 ГБ ОЗУ без GPU
llama-modchip запускает 284B DeepSeek-V4-Flash на CPU с 64 ГБ RAM: 1.71 bpw, 56.6 GiB, 44.4 tok/s префилла и 9–14.7 tok/s генерации. 30B MoE-модели работают до 111 tok/s. Ни одного GPU не нужно.
llama-modchip запускает 284B DeepSeek-V4-Flash на CPU с 64 ГБ RAM: 1.71 bpw, 56.6 GiB, 44.4 tok/s префилла и 9–14.7 tok/s генерации. 30B MoE-модели работают до 111 tok/s. Ни одного GPU не нужно.