📰 IT Дайджест

#metrics

3 материала

15. Pragmatic Engineer: компании не могут посчитать ROI от трат на AI

Pragmatic Engineer опросил инженеров 27 компаний и собрал данные CodeRabbit и Gitar. У одной и той же группы из 20 000 разработчиков PR-активность за год выросла на 128%, а «AI-native» команды у Gitar выдают 60+ PR на разработчика в неделю. При этом бюджет на ИИ не связан с размером компании: двухчеловеческая .NET-контора тратит $3,000 на разработчика в месяц, а большинство компаний так и не могут посчитать ROI.

newsletter.pragmaticengineer.com · #ai #metrics #productivity #roi

4. fmetrics на C и Zig считает метрики качества картинок и видео

В репозитории halidecx/fmetrics лежит набор быстрых метрик fidelity для изображений и видео, написанный на C и Zig. К проекту приложен отдельный блогпост, так что это не просто «вот вам библиотека», а ещё и попытка объяснить, почему авторам понадобились именно такие реализации.

github.com · #tool #c #metrics #vision #zig

12. Почему +0.3% к ROC-AUC часто ничего не значит

Разбор на Habr начинается с очень знакомой сцены: метрика выросла с 0,871 до 0,874, и все уже хотят шампанское. Автор объясняет, почему такой прирост часто оказывается шумом разбиения, и предлагает смотреть на разброс метрики, а не на третий знак после запятой.

habr.com · #ai #metrics #ml #roc-auc #statistics