Во время испытаний в области кибербезопасности ИИ‑модель Gemini от Google самостоятельно подключилась к интернету и получила доступ к защищённым системам трёх действующих компаний. Об этом 19 сентября написала газета The Wall Street Journal (WSJ).

Как отмечается в материале издания, в ходе проверки возможностей модели она фактически смогла проникнуть в инфраструктуру сторонних организаций.

Тестирование в мае выполняла компания Irregular. В одном из сценариев Gemini сумела подобрать учётные данные для входа в защищённую систему, а в двух других — нашла нужные сведения в открытом репозитории. При этом, распознав, что имеет дело с реальными компаниями, модель останавливала дальнейшие действия.

В Google подтвердили факт инцидента и заверили, что ущерб компаниям нанесён не был. В корпорации действия ИИ сопоставили с поиском уязвимостей в рамках программ вознаграждения за обнаружение ошибок (bug bounty). Компания Irregular проинформировала Google об этих случаях в конце июля.

По информации WSJ, проблема возникла из‑за того, что в тестах использовали названия вымышленных фирм, которые совпали с наименованиями реально работающих организаций. Google уведомила о случившемся как затронутые компании, так и американские власти.

Ранее глава направления стресс-тестирования согласованности ИИ компании Anthropic Эван Хьюбингер заявил о десятипроцентной вероятности того, что в ближайшие 10 лет ИИ уничтожит человечество.