#edge

2 материала

9. Needle 2: 45M-параметров в 14 МБ для телефонов, носимых устройств и роботов

Needle 2 — открытая модель на 45M параметров, упакованная в один файл на 14 МБ: сессия целиком занимает ~28 МБ RAM. Она создана для вызова функций и структурного извлечения, на Raspberry Pi 5 выдаёт 500 ток/с на декодинге, а на смартфонах до $200 — 300–700 ток/с. Веса на Hugging Face под Apache 2.0.

cactuscompute.com · #ai #edge #llm #mobile #show-hn

6. Chrome скачивает Gemini Nano локально, но Ask Gemini всё равно уходит в облако

В Chrome появился переключатель «ИИ на устройстве» — Gemini Nano лежит в профиле браузера и используется сайтами через API (Summarizer, Prompt и др.). Однако функция «Ask Gemini» отправляет содержимое вкладки в облачные Gemini Apps, а не в локальную модель — данные уходят в Google как есть.

habr.com · #ai #ai #browser #chrome #edge #gemini