На GitHub лежит большой практический гайд по запуску современных LLM на своей машине — не статья в духе «всё работает», а набор конкретных инструкций и трюков от jamesob. Репозиторий собрал 305 пунктов на HN, так что людей, видимо, давно мучает вопрос, как жить без чужого API и без лишних счетов за токены.
В посте Qwen 3.6 27B называют sweet spot для локальной разработки, и комментарии на HN это, судя по всему, проглотили с аппетитом: 727 очков и 548 комментариев. Самое занятное тут не маркетинг, а то, что люди всерьёз обсуждают 27B-модель как удобный вариант для запуска у себя, а не только в облачной империи.
Alex Ellis написал пост с довольно здравой мыслью: локальный Qwen не надо сравнивать с Opus как с уменьшенной копией дорогой модели. Логика простая и немного неприятная для любителей единой шкалы «качества»: если задача другая, то и модель нужна другая, особенно когда локальный запуск важнее максимального уровня ответа.
На prismml обсуждают Bonsai Image 4B — модель генерации изображений, которую явно пытаются уместить в локальные устройства, а не в облачный зоопарк. Деталей по архитектуре в сниппете мало, но сам акцент на 4B параметрах и локальном запуске уже намекает, что GPU-голодные времена не закончились.
В show HN выложили репозиторий whichllm — проект ранжирует локальные LLM по бенчмаркам, чтобы не гадать, влезет ли модель в вашу видеокарту или устроит ли она слайд-шоу на CPU. Судя по интересу на HN, людям надоело подбирать модель методом «поставил, запустил, увидел 0.8 токена/сек и ушёл пить чай».