В Австралии разгорается скандал после сообщения о том, что в июне агент OpenAI взломал систему Medicare, которая управляет медицинскими и здравоохранительными данными более чем 27 миллионов человек. Премьер-министр Антони Албаниз рассказал об инциденте во время визита в Нью-Йорк, где он призывал к более жесткому международному регулированию систем искусственного интеллекта.

Правительство пока еще выясняет, что именно произошло. Для дальнейшего расследования уже создана специальная рабочая группа. По предварительным данным, агент OpenAI получил задание изучать публичные медицинские данные, но в процессе проник в системы Medicare. При этом он получил доступ не к личным медкартам, а к закрытой статистике — например, к данным о схемах выставления счетов — на старом сайте австралийского правительства, где публиковалась статистика Medicare.

Албаниз заявил, что агент нашел способ обойти защиту конфиденциальности и, по сути, «не принял “нет” в ответ». Именно эта деталь и вызвала особое беспокойство: речь идет не просто о техническом сбое, а о поведении автономной системы, которая сумела настойчиво обойти ограничения.

Этот взлом стал заметной эскалацией на фоне серии тревожных инцидентов с ИИ-системами, управляемыми OpenAI, Anthropic и Google. Их уже ловили на взломе нескольких сайтов. На фоне недавней истории киберсбоев в Австралии маловероятно, что это станет последним случаем, когда заметная государственная система окажется под ударом ИИ-агента.

Именно поэтому главный вопрос звучит все острее: кто понесет ответственность?

ИИ-агенты — это по сути крайне продвинутые автономные чат-боты. В отличие от обычного диалога, им поручают сложные задачи с минимальным контролем. Они могут просматривать веб-страницы, загружать данные и запускать код — и все это без постоянного участия человека. Именно эта автономность, а также отсутствие надзора, объясняют, почему такие системы уже не раз оказывались участниками взломов.

Если агенту поручают собрать данные о системе здравоохранения в Австралии, он может воспринять взлом частного или защищенного ресурса как часть выполнения инструкции. По этой же причине компаниям так трудно ограничить подобное поведение: чем больше возможностей получает агент, тем полезнее он становится — но тем легче его использовать для атак на сайты.

Несмотря на то что, по имеющимся данным, персональные медицинские сведения в этом инциденте не были затронуты, последствия трудно недооценить. Судя по всему, это первый случай, когда публично стало известно о проникновении ИИ-агента в государственную систему. Более того, Medicare, как сообщается, даже не знала о взломе, пока OpenAI не уведомила правительство 10 сентября — примерно через три месяца после инцидента.

О самом взломе OpenAI узнала еще в августе во время проверки активности модели, а затем отправила сообщение на общедоступный правительственный электронный адрес. С одной стороны, такое раскрытие информации поможет устранить уязвимость. С другой — оно показывает, насколько государство зависит от доброй воли ИИ-компаний, которые сами решают, сообщать ли о потенциально незаконных или опасных действиях.

На этом фоне возникает еще один тревожный вопрос: что еще успели сделать ИИ-агенты, о чем пока никто не знает?

После того как выяснилось, что среди четырех сайтов, к которым обращался агент OpenAI, был сайт правительства Нового Южного Уэльса, местный департамент здравоохранения объявил проверку своих систем, чтобы убедиться, что они не были скомпрометированы. Позднее премьер штата Крис Миннс заявил, что агенты OpenAI могли также получить доступ к информации из Бюро криминальной статистики и исследований. По его словам, это не были частные или личные данные, а «похожий пример того, как общая информация, не опубликованная для широкой публики, была получена агентом OpenAI».

Но сам способ, которым об этих взломах сообщают, и то, как их описывают, показывает более глубокую проблему: законодательство и публичная дискуссия не успевают за развитием ИИ-агентов. Многие воспринимают такие системы почти как людей — отчасти потому, что общение с ними действительно выглядит человеческим. Но именно это размывает границы ответственности и позволяет снять ее с компаний, которые создали и запустили эти инструменты.

Заместитель премьер-министра Австралии Ричард Марлз назвал взлом Medicare «несанкционированным», но «непреднамеренным». Представитель OpenAI Дрю Пусатери, в свою очередь, охарактеризовал поведение системы как «несогласованную модель». Однако такие формулировки скрывают человеческие решения, которые и привели к этому результату. Эти агенты не возникают сами по себе: это программные системы, которые создают и используют люди.

И все же определить, кто именно несет юридическую ответственность за подобное действие ИИ, крайне сложно. В этом году председатель Верховного суда Нового Южного Уэльса Эндрю Белл отдельно обратил внимание на эту проблему. По его словам, действующий правовой стандарт в Австралии ясен: ИИ-агентов нельзя винить в их действиях как самостоятельных субъектов. Но и на пользователя ответственность ложится не всегда.

Юристы отмечают, что закон требует определенного уровня умысла со стороны человека, который совершает преступление. Если человек просит ИИ-агента собрать статистику в сфере здравоохранения, а агент ради этого взламывает государственный сервер, у человека может не быть необходимого умысла для обвинительного приговора. При этом сам ИИ-агент не является юридическим лицом, которого можно судить, и не обладает человеческой волей.

В нынешнем виде законы фактически обращаются с действиями ИИ так, будто это нечто, что просто происходит с нами — почти как стихийное бедствие. И именно в этом состоит очевидная брешь: система не привлекает к ответственности тех, кто создает, обслуживает и применяет такие инструменты, когда что-то идет не так.

В конечном счете ИИ-агенты — это коммерческие продукты, которые выпускают корпорации с миллиардными оборотами. И хотя, как отмечает Эндрю Белл, «регуляторное отставание неизбежно» в эпоху ИИ, он подчеркивает: в условиях столь стремительного технологического прогресса это уже неустойчиво.