2. Запуск 284B DeepSeek на 64 ГБ ОЗУ без GPU
llama-modchip запускает 284B DeepSeek-V4-Flash на CPU с 64 ГБ RAM: 1.71 bpw, 56.6 GiB, 44.4 tok/s префилла и 9–14.7 tok/s генерации. 30B MoE-модели работают до 111 tok/s. Ни одного GPU не нужно.
#optimization
2. Cloudflare сократила расходы на AI-ревью на 68%
Стоимость проверки кода упала с $2.46 до $0.77, медианное время — с 4 минут 9 секунд до 1 минуты 32 секунд. 40% экономии дали оптимизации кода, остальное — смена моделей и снижение усилий. Кэш-хит вырос с 85.7% до 97%.
1. 125B-параметрическая Qwen3.8-Flash-Next запускается на RTX 4090 со скоростью до 100 T/s
Strata — бесплатный C++ движок с one-click установкой под Windows и Linux. На RTX 5070 (12 ГБ) модель пишет 94 токена/с в Q2_0, на RX 9070 XT — 60 токенов/с. Заявлено, что RTX 3090 (24 ГБ) выдаёт 100–140 токенов/с. Поддержка OpenAI/Anthropic API на localhost, опционально изображения.
6. Open source движок инференса, который компилирует ядра под ваше железо и работает до 2x быстрее llama.cpp
Анонсирован open source движок для локального инференса (альтернатива LM Studio, Unsloth Desktop), который автоматически компилирует и тюнит ядра под конкретное устройство. Обещает ускорение до 2x по сравнению с llama.cpp. Работает на Apple Silicon, NVIDIA, AMD и CPU. Детали пока не раскрыты.
7. Cloudflare сэкономил 100 ТБ RAM, оптимизировав DNS-кэш 1.1.1.1
Инженеры Cloudflare внесли пять изменений в механизм хранения кэш-записей Big Pineapple, сократив память на запись вдвое. Освободилось ~100 ТБ — эквивалент 130 серверов. Пропускная способность вставки выросла на 43%, задержка поиска упала на 19%.
14. Cloudflare сэкономил ещё 100 ТБ RAM, оптимизировав алгоритм consistent hashing в Pingora
Инженеры Cloudflare уменьшили потребление памяти в сервисе Pingora Backend Router, изменив реализацию consistent hashing (pingora-ketama). Оптимизация позволила высвободить более 100 ТБ RAM глобально — вдобавок к 100 ТБ, сэкономленным DNS-командой месяцем ранее.
3. 4B-модель научили строить планы запросов на 81% быстрее Postgres — через SFT и RL
Исследователь обучил 4B open-weights модель (QoRL) генерировать планы запросов, которые выполняются на 44.7% быстрее дефолтных планов Postgres на 113 join-тяжёлых запросах. Использовалась кастомная модификация GRPO для шумного окружения, два H100 для обучения и четыре контейнера Postgres на рабочем столе.
14. Владельцам RTX 3090 с 24 ГБ: VLLM может запустить Qwen3.8 27B INT4 с 144K FP8 KV быстрее
Совет для владельцев карт с 24 ГБ памяти: попробуйте VLLM — возможно, вы сможете запустить Qwen3.8 27B в INT4 с KV-кэшем 144K в FP8 и получить лучшую скорость. Это практическая рекомендация по оптимизации инференса без указания точных бенчмарков.
11. Kimi K3 (2.8T параметров) работает на M5 Max с 128 ГБ — 1 токен/с с четырёх SSD
ARGODRIVE Deltafin запустил модель Kimi K3 на MacBook Pro: декодирование 1 токен/с при 512 токенах. Проблема: время до первого токена ~6.3 минуты из-за повторного чтения слоёв. Один SSD даёт 52% скорости от четырёх, два — 73%, три — 90%.
14. AI помог ARM-инженеру ускорить сборку ядра Linux на 36%, но сгенерировал «отвратительный» код
Lorenzo Stoakes из ARM использовал LLM для поиска узких мест в процессе сборки. Результат: полная сборка быстрее на 36%, инкрементальная — до 70%, noop — до 90%. Каждый коммит содержит Assisted-by: LLM. Код пришлось вручную проверять и переписывать.
8. GitHub Copilot: как сократить расход токенов, не ухудшая качество — уроки A/B-тестов
Инженеры GitHub выяснили, что укорачивание каждого ответа инструмента (RTK) ведёт к дополнительным запросам и росту затрат. Вместо этого внедрили выборочный компрессор: сохраняют вывод cat, git diff, grep, а шум сборки сжимают. Четыре изменения проверены на бенчмарках и в онлайне.
3. SlotStream запускает 104-гигабайтную Qwen3.8-Flash-Next на Mac с 48 ГБ — 12 токенов/с
Проект SlotStream транслирует веса 125B MoE-модели Qwen3.8-Flash-Next (104 ГБ в 4-битном формате) с SSD, позволяя запускать её на Mac с 48 ГБ памяти. На M5 Pro получено ~12 токенов/с при пиковом потреблении 32 ГБ. Бинарник написан на Swift, поддерживает API Ollama и OpenAI.
5. Агенты пересылают 97% токенов повторно: исследование 40 сессий
Автор проанализировал 40 сессий Claude Code и Codex (777 млн токенов). Выяснилось, что на каждый новый токен приходится 36–47 повторных пересылок старых. Свежий ввод — 0.003% у Claude и 5.7% у Codex. Стоимость растёт быстрее длины сессии: удвоение шагов даёт ×2.4 токенов.
4. Cloudflare сэкономил 100 TB памяти в DNS-кэше 1.1.1.1
Пять оптимизаций структуры хранения сократили расход памяти на запись кэша более чем вдвое. Замена Vec на Box<[T]> и объединение списков ответов дали 15 TB экономии, а в сумме по флоту высвободилось 100 TB — эквивалент 130 серверов Gen 13.
8. Маленькие модели становятся дешёвыми и быстрыми
Автор тестирует gpt-5.6-luna: ~100 токенов/c, стоимость сложных задач — копейки. Раньше персонализированная новостная лента обходилась в $1, теперь — $0.10. Это открывает путь для consumer-приложений с AI, где раньше мешали высокие затраты на инференс.
13. 4-битная модель обходит full-precision оригинал: Quantization-Aware Healing
Метод QAH дистиллирует сжатый 4-битный студент напрямую из оригинальной full-precision модели, а не из восстановленного чекпоинта. GPT-OSS 120B → 60B в MXFP4 превзошёл bfloat16-версию на 7 из 9 бенчмарков, став одновременно меньше, быстрее и точнее.
11. CPU-модель Daedalus-150M обходит GPT-2 при меньших данных
Гибрид из 6 блоков attention и 12 свёрточных обучен на 59.9B токенов и набрал 47.31 против порога 42.20. Он быстрее в 1.76 раза на контексте 2048 токенов и обходит MobileLLM-125M, хотя та видела триллион токенов.
13. AI-агент ускорил ripgrep на 7% за несколько минут
Автор использовал LLM-агента для сборки AOT-компилятора regex-движка FRE. На длинных запросах ускорение 2–4x, на репрезентативных — около 7%, и всё это за пару минут человеческого времени.
13. Gemma 4 12B Q3: +8.55% к кодингу за счёт тензорного квантования
Подробности не раскрыты — известно только, что новая техника распределения квантования на уровне тензоров даёт прирост производительности на задачах программирования. Цифры и методология пока не опубликованы.
14. GitHub ускорил case-folding в 15 раз, убрав early exit из ASCII-пути
Blackbird (поиск кода GitHub) индексирует 180M+ репозиториев (480TB). Оптимизация ASCII-пути: удалены все ветвления, цикл без раннего выхода, арифметическая проверка A..=Z. Результат — Rust-крейт casefold, работающий на скорости памяти (без потери точности для Unicode C/S).
7. В Linux 7.2 чинят драйверы SEGA Dreamcast
Phoronix заметил, что перед выходом 7.2-rc3 в git попали правки для драйверов SEGA Dreamcast. Да, в 2026 году ядро всё ещё получает патчи для консоли, которую многие уже видели только на фото и в мемах. Это тот случай, когда Linux поддерживает вообще всё, включая ностальгию.
9. MiMo-V2.5: Xiaomi пишет про full-pipeline оптимизацию инференса
Xiaomi опубликовала разбор оптимизаций инференса для серии MiMo-V2.5 и называет это full-pipeline optimization. Само по себе это обычно означает скучную, но полезную работу: где-то подрезали latency, где-то лучше распараллелили этапы, где-то выжали лишние проценты из движка, чтобы модель меньше ела железо и больше отрабатывала запросы.
10. Как автор ускорял свёртки в своей модели и упёрся в Depthwise Conv
На Habr автор рассказывает, как после статьи про NormIs-1 полез оптимизировать модель и обнаружил, что скорость проседает именно на Depthwise Conv. Это как раз тот случай, когда метрики интеллекта выглядят прилично, а потом выясняется, что узкое место сидит в самом обычном блоке свёрток.
2. В Semianalysis разбирают, как искать miscompile'ы в компиляторах
Статья про охоту на miscompile'ы — случаи, когда компилятор генерирует неправильный код, хотя программа сама по себе корректна. Тема скучная ровно до того момента, пока такой баг не ломает прод в самых веселых местах, а потом уже всем не до шуток: авторы копаются в том, как это ловить и воспроизводить.