Авторитетный журнал выпустил интерактивный материал, где Nvidia названа «центральным банком ИИ». Аналогия строится на том, что компания контролирует ключевой ресурс — вычислительные мощности, без которых не работает ни один фронтальный model.
Вслед за нехваткой GPU и памяти на рынке начался дефицит CPU, спровоцированный массовым использованием инструментов AI-агентами. Аналитики Pragmatic Engineer рекомендуют компаниям, использующим compute-интенсивные сервисы, бронировать мощности заранее. Точные цифры роста загрузки процессоров не раскрываются.
ARGODRIVE Deltafin запустил модель Kimi K3 на MacBook Pro: декодирование 1 токен/с при 512 токенах. Проблема: время до первого токена ~6.3 минуты из-за повторного чтения слоёв. Один SSD даёт 52% скорости от четырёх, два — 73%, три — 90%.
Бенчмарк EEBench оценивает модели на задачах проектирования электроники, используя atopile — декларативный язык схем. В одном из заданий нужно подобрать конденсатор, чтобы процессор прожил 20 мс после пропадания питания. Модели справляются с номиналами, но пасуют перед реальными допусками компонентов.
PIM-блок на каждый из 16 банков LPDDR5X даёт 614 ГБ/с внутренней пропускной (против 76.8 ГБ/с снаружи). Поддерживает INT8/FP8, 2.4 TOPS на чип. Восемь таких чипов дадут 9.6 TOPS — как NPU Meteor Lake, но за цену 128 ГБ памяти.
Anthropic показала MHS — стандарт, который должен помочь моделям управлять физическим миром: от настройки лазера через камеру до фокусировки микроскопа и работы с роборукой. Для этого MHS описывает ограничения железа, его параметры, варианты измерений и safety limits через стандартизированные теги, а потом отдаёт модели reference file с нужным контекстом. В preview участвуют AWS, Hugging Face, Raspberry Pi, Automata и Universal Robots, а в перспективе стандарт хотят сделать open source и agent agnostic.
Материал разбирает skitter-creek-bath-salts — способ вмешаться в контроллер DRAM так, чтобы обращение по адресу попадало в нужную область памяти и ломало аппаратную изоляцию. Автор пишет, что атака позволяет добраться до защищённых зон, включая PSP, SMM, C6-области и даже микрокод CPU, а проверяли всё это на AMD Family 16h. Дальше идёт привычный для таких разборов ужастик про виртуальные адреса, TLB, page walk, EPT/NPT, IOMMU и прочие этажи, на которых обычно и живёт наше чувство безопасности.
OpenAI опубликовала первые результаты Jalapeño — собственного inference-чипа. Заявлены более высокая скорость и энергоэффективность, выше throughput и ниже latency для современных моделей; конкретные цифры в анонсе не приводятся.
Habr разбирает, почему после новостей об устройстве OpenAI без экрана размером с хоккейную шайбу речь идёт не о гаджете, а о постоянном ИИ-компаньоне. Автор сводит требования к такому ассистенту к «джювелу» из книг Орсона Скотта Карда: память, контекст, восприятие мира и способность действовать. В гонке — Apple с AirPods, Meta и Google с очками, Яндекс с Дропсами.
Заголовок сообщает о выходе M5 Ultra с 1.2 ТБ/с. Подробности не раскрыты.
Анонсирован Mac Studio с чипами M5 Max и M5 Ultra, максимальная конфигурация — 512 ГБ unified memory. Детали не раскрыты.
Google опубликовал TurboQuant — алгоритм квантизации KV-кэша, сжимающий его в 5–6 раз без дообучения модели. Инвесторы Micron, Samsung, SK Hynix запаниковали, потеряв суммарно $90 млрд капитализации за неделю. Подробный разбор на Хабре: как работает и почему не панацея.
Кристофер Домас опубликовал PoC: bank swizzle mode в контроллерах памяти AMD даёт доступ к произвольной памяти, включая микрокод CPU и область Platform Security Processor. Функция задокументирована в мануале (стр. 113), но её можно использовать для перезаписи прошивки без краха системы. Требуются права ядра, так что пока не паникуем, но осадочек остался.
Anthropic объявила о формировании команды разработки чипов. Планирует совместное проектирование hardware и моделей, чтобы снизить зависимость от NVIDIA и получить вертикальную интеграцию, как у OpenAI. Пока только нанимают ключевых специалистов.
HD Moore из runZero обнаружил более дюжины новых уязвимостей в BMC от HPE, Supermicro, Dell и других. Внешний сканер нашёл 86 000 BMC в открытом доступе, из них 54% содержат критические уязвимости, а 75 000 всё ещё подвержены CVE-2013-4786.
На Reddit обсуждают китайский чип DFSX, который, по заявлению, предлагает вдвое большую пропускную способность памяти по сравнению с NVIDIA GB200. Подробностей о чипе и тестах в посте нет.
Разработчики начали развертывание Kimi K3 на кластерах A100, H200 и B300. Судя по комментариям, требования к памяти и вычислениям на A100 выглядят пугающе, что неудивительно для модели такого размера.
Команда Flipper выкатила пост о том, как они видят дальнейшую разработку Flipper Zero — без привычного маркетингового тумана, зато с разговорами о железе, прошивке и том, что вообще можно тащить на такое маленькое устройство. У статьи 263 пункта на Hacker News и 110 комментариев, так что народ явно пришёл не просто посмотреть на милый карманный гаджет, а поспорить о его будущем.
Show HN про репозиторий Andyyyy64/whichllm, который помогает выбрать локальную LLM под конкретный компьютер. В описании прямо обещают ранжирование по бенчмаркам, то есть без гадания на кофейной гуще и чатов про «а потянет ли мой ноут 70B».