Неопубликованное исследование рисков ИИ, проведенное NIST, остается отложенным из-за административных изменений

Команда Национальный Институт Стандартов и Технологий (NIST) завершил отчёт о безопасности передовых моделей искусственного интеллекта ближе к концу президентства Джо Байдена, но документ не был опубликован после перехода власти к администрации Дональда Трампа. Хотя отчёт был разработан для помощи организациям в оценке их систем искусственного интеллекта, он был одним из нескольких документов NIST по искусственному интеллекту, публикация которых была приостановлена из-за возможных противоречий с политическим курсом новой администрации.

Перед вступлением в должность президент Дональд Трамп заявил о намерении отменить указы Байдена, касающиеся ИИ. После перехода власти администрация переключила внимание экспертов с таких областей, как алгоритмическая предвзятость и справедливость в сфере ИИ. План действий в области ИИ, опубликованный в июле, конкретно предусматривает пересмотр Рамочной программы управления рисками в сфере ИИ Национального института стандартов и технологий (NIST), рекомендуя исключить из неё упоминания дезинформации, разнообразия, равенства и инклюзивности (DEI) и изменения климата.

В то же время План действий в области ИИ включает предложение, схожее с целями неопубликованного доклада. Он предписывает нескольким федеральным агентствам, включая Национальный институт стандартов и технологий (NIST), организовать скоординированный хакатон по ИИ, направленный на тестирование систем ИИ на прозрачность, функциональность, контроль со стороны пользователя и потенциальные уязвимости безопасности.

Учения Red Teaming под руководством NIST проверяют риски систем искусственного интеллекта с использованием фреймворка ARIA на конференции CAMLIS

Учения «Red-teaming» были проведены в рамках программы «Оценка рисков и последствий применения искусственного интеллекта» (ARIA) Национальным институтом стандартов и технологий (NIST) совместно с компанией Humane Intelligence, специализирующейся на оценке систем искусственного интеллекта. Эта инициатива была проведена в рамках Конференции по прикладному машинному обучению в области информационной безопасности (CAMLIS), где участники исследовали уязвимости ряда передовых технологий искусственного интеллекта.

Отчет CAMLIS Red Teaming содержит оценку различных инструментов искусственного интеллекта, включая Meta Llama, модель большого языка программирования (LLM) с открытым исходным кодом; Anote, платформа для разработки и совершенствования моделей ИИ; система безопасности от Robust Intelligence, которая впоследствии была приобретена CISCO; и платформа для генерации аватаров на основе ИИ от Synthesia. Представители каждой организации внесли свой вклад в деятельность Red Team.

Участники использовали фреймворк NIST AI 600-1 для анализа рассматриваемых инструментов. Этот фреймворк выделяет множество областей риска, таких как потенциальная возможность ИИ генерировать ложную информацию или создавать угрозы кибербезопасности, раскрывать личные или конфиденциальные данные или способствовать эмоциональной зависимости пользователей от систем ИИ.

Неопубликованный отчет AI Red Teaming раскрывает уязвимости модели, вызывает опасения по поводу политического давления и упущенных исследовательских данных

Исследовательская группа обнаружила несколько способов обойти предусмотренные защитные механизмы оцениваемых инструментов, что привело к появлению дезинформации, раскрытию конфиденциальной информации и содействию в разработке стратегий кибератак. Согласно отчёту, некоторые аспекты фреймворка NIST оказались более применимыми, чем другие. Также было отмечено, что определённым категориям рисков не хватало чёткости, необходимой для практического применения.

Люди, знакомые с инициативой «Red-teaming», отметили, что результаты этого исследования могли бы предоставить ценную информацию более широкому сообществу исследователей и разработчиков искусственного интеллекта. Одна из участниц, Элис Цянь Чжан, докторант Университета Карнеги-Меллона, отметила, что публичная публикация отчёта могла бы помочь прояснить, как функционирует система оценки рисков NIST при применении в реальных условиях тестирования. Она также подчеркнула, что непосредственное взаимодействие с разработчиками инструментов в ходе оценки повысило ценность этого опыта.

Другой участник, пожелавший остаться анонимным, указал, что в ходе эксперимента были выявлены особые методы подсказок — с использованием таких языков, как русский, гуджарати, маратхи и телугу, — которые оказались особенно успешными в получении запрещенных результатов от таких моделей, как Llama, включая инструкции, касающиеся вступления в экстремистские группировки. Этот человек предположил, что решение не публиковать доклад может отражать более широкий отход от областей, которые считаются связанными с разнообразием, равенством и инклюзивностью в преддверии прихода новой администрации.

Некоторые участники предположили, что отсутствие доклада может быть также связано с повышенным вниманием правительства к высокорискованным рискам, таким как потенциальное использование систем искусственного интеллекта при разработке оружия массового уничтожения, и параллельными усилиями по укреплению связей с крупными технологическими компаниями. Один из участников «красной команды» анонимно отметил, что политические соображения, вероятно, сыграли свою роль в сокрытии доклада, и что в нём содержались выводы, имеющие актуальное научное значение.