Глава Microsoft Сатья Наделла заявил о необходимости создать механизмы, которые позволят человеку в любой момент приостановить работу искусственного интеллекта или полностью отключить модель. По его мнению, по мере развития ИИ нужны более совершенные средства контроля и сдерживания, а также отраслевые стандарты. Об этом он написал в соцсети X.
Фото: © Peerapon Boonyakiat / Keystone Press Agency / www.globallookpress.com
«Необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции. Это можно сравнить с аварийным тормозом: уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить ее прямо во время выполнения задачи», — написал Наделла.
Он отметил, что в традиционных программных системах специалисты могли проследить работу программы до конкретных участков кода. В современных ИИ-моделях установить прямую связь между поведением системы и данными, на которых ее обучали, гораздо сложнее. При этом компании продолжают внедрять ИИ-агентов, предоставляя им доступ к чувствительной информации и внутренним системам.
Наделла считает, что компаниям необходимо пересмотреть подходы к безопасности ИИ и не полагаться исключительно на гарантии разработчиков моделей. Он предложил рассматривать передовые модели как потенциальный источник внутренних угроз и применять к ним принципы информационной безопасности: ограничивать доступ, фиксировать действия, проверять результаты и предусматривать независимые механизмы контроля.
Среди других необходимых мер глава Microsoft назвал наблюдение за действиями ИИ, независимый аудит, изоляцию моделей, раскрытие информации об инцидентах и использование нескольких моделей для взаимного тестирования. По его мнению, систему ИИ следует отделять от управляющих механизмов и инструментов, с помощью которых она выполняет задачи.
«Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше», — заключил Наделла.
Ранее Axios со ссылкой на источники сообщил, что ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются крупного инцидента с искусственным интеллектом в ближайшие 6−12 месяцев.
В сентябре глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ из-за рисков потери контроля над технологией. Его позицию поддержали глава OpenAI Сэм Альтман и руководитель xAI Илон Маск. Президент США Дональд Трамп, напротив, выступил против замедления разработок, заявив, что лидерство в гонке искусственного интеллекта имеет стратегическое значение для США.
Источник: БИЗНЕС Online