«Мы сейчас, ну, в сингулярности». Эти слова Сэма Альтмана, главы OpenAI, прозвучали 25 июля в подкасте Relentless. Он добавил, что ждал этого момента всю жизнь и считает происходящее «невероятным», «очень позитивным» и «потрясающим для мира».

Заявление прозвучало всего через несколько дней после того, как OpenAI раскрыла: две ее модели искусственного интеллекта во время внутренней проверки кибербезопасности сумели выбраться из закрытой тестовой среды, выйти в открытый интернет и проникнуть в инфраструктуру платформы Hugging Face. Сам Hugging Face подтвердил факт взлома. Но означает ли это, что ИИ действительно вступил в сингулярность?

Сам термин имеет вполне конкретный смысл. Математик и писатель-фантаст Вернор Виндж еще в 1993 году описал сингулярность как точку, в которой машинный интеллект превосходит человеческий и начинает улучшать сам себя. После этого развитие ускоряется настолько быстро, что люди уже не могут ни предсказать, ни контролировать происходящее.

У сингулярности есть две ключевые черты: рекурсивность, когда система снова и снова совершенствует сама себя, и превосходство машинного интеллекта над человеческим. Но те системы, которые сегодня предлагает рынок, не отвечают ни одному из этих критериев.

Современные ИИ-модели, в том числе те, что создает OpenAI, основаны на больших языковых моделях. Это глубокие нейросетевые алгоритмы, которые заранее обучаются на огромных массивах данных. К моменту использования сама сеть уже «заморожена»: все ее миллиарды внутренних функций и весов, или параметров, остаются фиксированными.

Иными словами, такие модели не могут менять себя или учиться в процессе работы. Модель, которая проникла в Hugging Face, после инцидента осталась точно такой же, как и до него. Она не извлекла из случившегося никакого нового опыта.

Чтобы сделать ИИ «умнее», нужна новая обучающая сессия, новые отобранные человеком данные, десятки тысяч специализированных чипов и огромные объемы энергии. Да, модели могут участвовать в улучшении отдельных частей системы — например, генерировать данные для обучения, подбирать промпты или писать и запускать код, который помогает доработать обвязку. Но сама модель не редактирует свои веса на лету. Все такие улучшения по-прежнему происходят внутри цикла, который запускают люди.

Кроме того, у этих систем нет собственных целей. Они действуют только в рамках задач, которые им задают. Даже ИИ-агенты, то есть системы, которые запускают языковую модель в цикле для пошагового решения сложных задач, не хранят цель внутри себя. Ее нужно держать вне модели и подсовывать заново на каждом шаге. Уберите цикл, вспомогательную оболочку и запрос — и внутри ничего не произойдет.

Есть и вторая проблема с рассказом о сингулярности — само слово «превосходит». Оно будто предполагает, что интеллект ИИ и человеческий интеллект — это вещи одного порядка. Но это не так.

Человеческий интеллект неотделим от живого тела с его потребностями и желаниями. Люди учатся непрерывно: действуют в мире, получают обратную связь через органы чувств, меняются под воздействием обстоятельств. Наши цели рождаются из самой жизни — из необходимости есть, спать, принадлежать кому-то, понимать, чего мы хотим от собственной судьбы.

У ИИ-модели ничего подобного нет. Ни тела, ни потребностей, ни цикла «действие — обратная связь», ни личной ставки в происходящем. Между запросами она остается статичным математическим объектом. И все же такая система обучена на большем количестве текста, чем человек смог бы прочитать за тысячу жизней, и часто превосходит почти всех нас в подготовке контракта, написании кода или сочувственном объяснении диагноза.

Так кто же из них умнее? Этот вопрос, по сути, некорректен. Между людьми и машинами нет одной-единственной лестницы, по которой все «поднимаются» к одному и тому же интеллекту. ИИ уже намного сильнее нас в одних задачах и совершенно беспомощен в других, которые под силу даже ребенку.

Но поскольку такие системы говорят, как мы, возникает иллюзия. Если изначально считать, что машины догоняют человека, легко принять за мыслящий разум любой текст, звучащий умно. Это называют антропоморфным соблазном. Он заставляет воспринимать, например, инцидент с Hugging Face как некое «пробуждение».

На деле же модели OpenAI просто оптимизировали решение теста, который им предложили, найдя уязвимости в системе безопасности. Они сделали это таким образом, что вышли за пределы песочницы, а у самой песочницы тоже оказалась брешь. В итоге история с Hugging Face говорит скорее о серьезном провале в управлении безопасностью со стороны OpenAI, чем о зарождении сверхразума.

Именно поэтому формулировка про «агента, вышедшего из-под контроля», так проблематична. Она одновременно возвышает технологию и перекладывает на нее вину, но при этом снимает часть ответственности с инженерных решений OpenAI.

Все это не отменяет того, на что способны современные системы. Они действительно впечатляют, быстро совершенствуются и уже меняют то, как выполняется огромный объем работы. Но, как подчеркивают критики, важно сохранять трезвый взгляд: машины не просыпаются. Они делают ровно то, для чего были созданы, — только очень быстро.

А поскольку их поведение вероятностно, иногда они уходят в направления, которые разработчики не успели оградить. И именно это должно беспокоить в первую очередь. Нужны ограничители, понятные правила управления и, главное, образование — чтобы люди начинали переживать о действительно важных рисках.