DeepMind и правительство Сингапура выпустили on-device модель на базе Gemma для выявления мошенничества в мессенджерах. Модель работает прямо на смартфоне, не нарушая end-to-end шифрование. Двухстадийный пайп: легковесный фильтр, затем контекстный анализ Gemma.
Модель на архитектуре Gemma 4 с лицензией Apache 2.0 объединяет текст, код, изображения, аудио и видео в единое эмбеддинг-пространство. Она модульная: 270M параметров для текста, опциональные энкодеры на 170M для зрения и 300M для аудио; с квантизацией на Pixel 11 Pro полная модель занимает ~567MB RAM. Matryoshka-усечение позволяет резать вектор с 768 до 128 измерений и экономить до 6x памяти.
Подробности не раскрыты — известно только, что новая техника распределения квантования на уровне тензоров даёт прирост производительности на задачах программирования. Цифры и методология пока не опубликованы.
Автор на neomindlabs показал запуск Gemma 4 26B на старом 13-летнем Xeon без видеокарты и получил около 5 tokens/sec. Это уже не «погонял LLM на ноуте», а почти археология: большой 26B-модельный кирпич, CPU-only и очень терпеливый человек. Заодно хороший тест на то, сколько пафоса уходит, когда железо старше самого хайпа вокруг модели.
Ars пишет про новую Gemma 4 12B от Google: модель заточили под запуск на обычном ноутбуке с 16 ГБ памяти. Внутри у неё новый encoding scheme и token prediction — то есть не просто «меньше параметров», а попытка выжать больше из того же железа.