Strata — бесплатный C++ движок с one-click установкой под Windows и Linux. На RTX 5070 (12 ГБ) модель пишет 94 токена/с в Q2_0, на RX 9070 XT — 60 токенов/с. Заявлено, что RTX 3090 (24 ГБ) выдаёт 100–140 токенов/с. Поддержка OpenAI/Anthropic API на localhost, опционально изображения.
github.com · #ai #gpu #inference #llm #optimization
Немецкая Aleph Alpha выложила модель под Apache 2.0: 78B всего, 3B активных, English-German Mixture-of-Experts. Контекст — до 1M токенов. Специализирована для госсектора, aerospace и промышленности. По бенчмаркам дотягивает до моделей с вчетверо большим числом активных параметров (например, Nemotron 3 Super).
aleph-alpha.com · #ai #llm #open-weights #sovereign-ai
Разработчик Asahi Linux Sven Peter отправил pull request с Device Trees для Linux 7.4. Поддержка минимальная: CPU, interrupt controller, watchdog, serial, i2c, framebuffer — GPU и остальное позже. Список устройств: MacBook Pro 14 (M4, 2024), iMac (M4, 2024), MacBook Air (M4, 2025), Mac Mini (M4, 2024) и MacBook Neo с A18 Pro.
www.phoronix.com · #infra #apple #kernel #linux #m4