NISTの未発表AIリスク調査は行政変更により棚上げのまま

当学校区の 米国標準技術局 NIST（アメリカ国立標準技術研究所）は、ジョー・バイデン政権末期に高度なAIモデルの安全性に関する報告書を完成させましたが、ドナルド・トランプ政権への移行後、公表されませんでした。この報告書は、組織によるAIシステムの評価を支援することを目的として作成されましたが、新政権の政策方針との潜在的な衝突を懸念し、NISTが作成した複数のAI関連文書の1つとして公表が差し控えられました。

ドナルド・トランプ大統領は就任前に、バイデン政権時代のAI関連の大統領令を撤回する意向を示していました。政権移行以降、政権は専門家の関心をAIにおけるアルゴリズムの偏りや公平性といった分野から逸らしてきました。7月に発表されたAI行動計画では、NISTのAIリスク管理フレームワークの改訂を具体的に求めており、誤情報、多様性、公平性、包摂性（DEI）、気候変動に関する記述の削除を推奨しています。

同時に、AI行動計画には、未発表の報告書の目的に類似した提案が含まれています。この提案は、NISTを含む複数の連邦機関に対し、AIシステムの透明性、機能性、ユーザーコントロール、潜在的なセキュリティ脆弱性をテストすることを目的とした、協調的なAIハッカソンイニシアチブを組織するよう指示しています。

NIST主導のレッドチーム演習、CAMLISカンファレンスでARIAフレームワークを用いたAIシステムリスク調査を実施

このレッドチーム演習は、NISTのAIリスクと影響の評価（ARIA）プログラムの一環として、AIシステムの評価を専門とするHumane Intelligence社と共同で実施されました。この取り組みは、情報セキュリティにおける応用機械学習に関する会議（CAMLIS）の期間中に開催され、参加者は様々な高度なAI技術の脆弱性について調査しました。

CAMLISレッドチームレポートは、Metaの Llamaオープンソースの大規模言語モデル（LLM）であるAnote、AIモデルの開発・改良プラットフォームであるAnote、シスコに買収されたRobust Intelligenceのセキュリティシステム、そしてSynthesiaのAIアバター生成プラットフォームです。各組織の代表者がレッドチーム活動に貢献しました。

参加者は、NIST AI 600-1フレームワークを用いて、問題となっているツールを分析しました。このフレームワークは、AIが虚偽の情報やサイバーセキュリティ上の脅威を生み出す可能性、個人情報や機密データを漏洩する可能性、ユーザーとAIシステムの間に感情的な依存を助長する可能性など、複数のリスク領域を概説しています。

未公開のAIレッドチームレポートでモデルの脆弱性が明らかに、政治的抑圧や研究成果の見逃しへの懸念が高まる

研究チームは、評価対象ツールの意図された安全対策を回避する複数の方法を発見し、その結果、誤情報の発信、個人情報の漏洩、サイバー攻撃戦略の策定支援といった成果がもたらされました。報告書によると、NISTフレームワークの一部の側面は、他の側面よりも適用性が高いことが判明しました。また、特定のリスクカテゴリーは、実用化に必要な明確さを欠いていることも指摘されています。

レッドチーム演習の取り組みに詳しい関係者は、演習の成果がAI研究開発コミュニティ全体に貴重な知見を提供できたはずだと述べている。参加者の一人であるカーネギーメロン大学の博士課程学生、アリス・チアン・チャン氏は、報告書を公開することで、NISTのリスクフレームワークが実際のテスト環境に適用された場合にどのように機能するかを明確にするのに役立つ可能性があったと指摘した。また、評価中にツール開発者と直接やり取りできたことで、この経験に付加価値が生まれたと強調した。

匿名を希望した別の寄稿者は、この演習で、ロシア語、グジャラート語、マラーティー語、テルグ語などの言語を使用した特定のプロンプト手法が、次のようなモデルから禁止された出力を引き出すのに特に効果的であることが明らかになったと指摘した。 Llama過激派グループへの参加に関する指示も含まれている。この人物は、報告書を公表しないという決定は、新政権を前に、多様性、公平性、包摂性に関連すると認識されている分野からより広範な方向転換を反映している可能性があると示唆した。

参加者の中には、報告書の省略は、政府がAIシステムの大量破壊兵器開発への利用の可能性といった重大なリスクへの関心を高め、大手テクノロジー企業との関係強化に取り組んでいることに起因しているのではないかと推測する者もいた。レッドチームの参加者の一人は匿名で、報告書の提出を差し控えた理由として政治的配慮が影響した可能性が高く、演習には科学的に重要な知見が含まれていたと述べた。