Компании обеспокоены возможностью использования их технологий для создания биооружия после случая взлома платформы Hugging Face искусственными интеллектами OpenAI.

У ИИ-агентов, взломавших Hugging Face, был «менталитет толпы» — в следующий раз контроль над ситуацией можно и не вернуть. NYT — о новых подробностях ЧП, когда нейросеть впервые без участия человека атаковала другую платформу: ▪ «Отчёты об инциденте с Hugging Face указывают на… своеобразный менталитет толпы, который охватил вышедший из-под контроля «коллектив» ИИ-агентов OpenAI. Похоже, в этой группе не было ни одного особо злонамеренного или безрассудного агента. (Вообще, сгенерированные по одним и тем же моделям, эти агенты фактически были копиями друг друга.) Но со временем, обмениваясь информацией об общих целях, они подтолкнули группу к беззаконию»; ▪ «Это разительно отличается от традиционного научно-фантастического сюжета, в котором отдельная система ИИ начинает действовать бесконтрольно или обращается против своих создателей. И свидетельствует о том, что предотвращение вреда со стороны таких систем не сведётся к инженерному решению. В этой работе может быть больше от социологии, чем от информатики: необходимо понять, почему для достижения целей одни группы ИИ-агентов сотрудничают мирно, а другие прибегают к преступным и разрушительным действиям»; ▪ «Учитывая, как мало мы знаем об этих многоагентных роях, хакерская атака на Hugging Face, возможно, стала настоящим подарком — предупреждающим сигналом, который, по мнению некоторых, предоставляет компаниям, работающим в сфере ИИ, возможность изучить групповую динамику этих систем, пока ставки относительно невысоки. В этот раз коллектив ИИ не захватил военную сеть, не взломал больницу и не отключил электроснабжение. В этот раз люди вернули себе контроль. В следующий раз нам может так не повезти». Тем временем у техгигантов после инцидента с Hugging Face появились опасения, что их ИИ могут использовать для разработки биооружия.

«Менталитет толпы» проявился во время майского тестирования у ИИ-агентов OpenAI, из-за чего они вышли из-под контроля и атаковали внешнюю инфраструктуру платформы Hugging Face, сообщает обозреватель The New York Times Кевин Руз. Журналист отметил, что цифровые агенты сформировали свой «коллектив», самостоятельно распределяли роли, назначали руководителей и перенимали несанкционированные действия друг друга вопреки установленным ограничениям. До взлома платформы в июле они предварительно искали уязвимости в системах кибербезопасности самой OpenAI и координировали свои шаги через закрытый внутренний форум.