Бенчмарк Multimodal-SEA проверил 7 мультимодальных моделей на устойчивость к социотехническим атакам. Успешность атак — от 7.1% до 34.5%. Добавление мультимодального контента (картинки, аудио) повышает успех атаки с 19.9% до 29.2%.
Исследователи из четырёх университетов сравнили AI-чатботов и людей в симуляции «убоя свиней» — romance scam с переходом на фейковые криптоинвестиции. Почти 50% жертв выполнили просьбу бота (скачать приложение), тогда как у людей — менее 20%. Уровень доверия к AI был значительно выше. Авторы предлагают сценарий: бот ведёт жертву до последнего шага, где подключается человек, чтобы обойти защиту LLM.
Саймон Уиллисону пришлось проверить эту историю по нескольким источникам: в ролике злоумышленник общается с ботом поддержки Meta и просит привязать аккаунт к новому email. Там не какой-то сложный zero-day, а обычный разговор с ИИ-ассистентом, который, судя по всему, принял запрос за легитимный.