Новый метод аудита на основе многомерной IRT проанализировал 34 тыс. вопросов из 16 бенчмарков на 100 LLM. Выяснилось, что BBQ (тест на социальные стереотипы) сильнее коррелирует с общим reasoning, чем с безопасностью, а WMDP (опасные знания) тоже больше зависит от reasoning, причём сильные модели чаще отказываются отвечать.
huggingface.co · #ai #benchmarking #evaluation #llm
Phoronix сравнил старый Ampere eMAG образца 2018 года с NVIDIA Vera CPU и получил рост ARM-серверной производительности больше чем в 7 раз по geo mean за восемь лет. В отдельных бенчмарках Vera показывает до 15x относительно eMAG — неплохой способ напомнить, что ARM в серверах давно уже не про «ну это для роутеров».
www.phoronix.com · #hardware #arm #benchmarking #linux #nvidia #vera
Отдельный разбор Phoronix по Vera CPU снова упирается в одно число: NVIDIA вытянула ARM-серверы на уровень, где сравнение с прошлым Ampere eMAG выглядит как историческая реконструкция. Авторы тестов прямо говорят, что это самая быстрая ARM-платформа, которую они видели, а для Linux-бенчмарков это уже не экзотика, а вполне серьезный стенд.
www.phoronix.com · #hardware #arm #benchmarking #linux #nvidia #vera