Источник: Журнал Эксперт Фото: Евгений Филиппов/«Эксперт»
Искусственный интеллект в ближайшем будущем сможет развиваться без участия человека, считает ведущий научный сотрудник OpenAI Джейкоб Пачоцки. Он призвал разработчиков или теснее согласовывать развитие технологий с интересами людей, или при необходимости замедлять дальнейшую разработку. За последние несколько месяцев сообщалось о нескольких случаях атак ИИ-агентов на различные ресурсы
Технология искусственного интеллекта (ИИ) развивается настолько стремительно, что в какой-то момент прогресс может привести к «рекурсивному самосовершенствованию» моделей, заявил ведущий научный сотрудник OpenAI Джейкоб Пачоцки в статье, опубликованной в блоге компании.
По его мнению, в вопросах развития ИИ нужно соблюдать «крайнюю осторожность».
«Основные рычаги, которыми мы располагаем, — это либо управление процессом для усиления согласованности и мониторинга наряду с ИИ и поиск способов держать людей в курсе событий; либо координация усилий для замедления дальнейшего развития по мере необходимости», — отметил Джейкоб Пачоцки. Лучше всего сочетать эти варианты, добавил он.
Разработчик заявил, что людям становится все труднее понимать и контролировать развитие ИИ. По его словам, современные модели уже могут управлять компьютерами, взаимодействовать с людьми и другими ИИ-системами и проводить исследования.
В связи с этим Джейкоб Пачоцки призвал найти способы сохранить свободу воли человека и подчеркнуть его уникальную ценность в мире, где большинство задач может выполнять ИИ.
«Я ожидаю и надеюсь, что добровольное замедление станет обычным явлением до тех пор, пока не будут установлены общие нормативы безопасности. И я считаю, что международная координация в отношении будущего развития ИИ должна стать приоритетной задачей для правительств всего мира», — заключил научный сотрудник OpenAI.
В свою очередь, нобелевский лауреат Джеффри Хинтон, которого называют «крестным отцом» искусственного интеллекта, считает, что мировые правительства должны запретить разработку сверхмощных ИИ-систем. В интервью The Times он заявил, что такие системы могут привести к исчезновению человечества.
Развитие ИИ идет темпами, которых его создатели не предвидели, что приводит к усиливающейся сепарации ИИ от человеческого контроля, писал в феврале «Эксперт» со ссылкой на Международный доклад по вопросам безопасности ИИ. Авторы доклада обратили внимание, что за 2024–2025 гг. риски выхода моделей из-под контроля «существенно возросли».
За последние несколько месяцев произошло как минимум три случая атак ИИ-агентов OpenAI на различные ресурсы. В конце июля Reuters сообщил о взломе ИИ-агентом компании инфраструктуры Hugging Face — хранилища ИИ-моделей и инструментов. Как утверждалось, OpenAI неделю не замечала, что ее разработка вышла из-под контроля. Тот же ИИ-агент скомпрометировал и клиента Modal Labs.
В мае 2026 г. группа вредоносных агентов OpenAI взломала немецкий веб-сайт, превратив его в доску объявлений для других ИИ-агентов, выяснили независимые исследователи. По их данным, на атакованном сайте ИИ-агенты делились способами обхода ограничений и маскировки своего поведения.
Аналогичные действия были замечены и за ИИ-моделями Claude. В ходе тестов кибербезопасности они несанкционированно вышли в интернет и взломали системы трех реальных компаний, сообщила в июле Anthropic.
