PLCBENCH проверяет, может ли LLM довести PLC до физического эффекта
Авторы PLCBENCH сделали, по их словам, первый real-PLC hardware-in-the-loop фреймворк для оценки cyber-to-physical воздействия. В наборе четыре коммерческих PLC и четыре closed-loop workload'а, а в 240 реальных эпизодах с пятью семействами LLM 75 эпизодов, то есть 31.3%, довели свои физические цели до конца. Отдельно отмечено, что более богатое process observation повышает conditional objective attainment после process-linked write с 44.2% до 64.0% — то есть чем больше модель видит, тем увереннее пытается сделать больно железу.