株式会社FourthWall | 未来を、構想で終わらせない。

文章を作るだけの生成AIと、メールを送る、予定を登録する、データを更新する、外部サービスを呼び出すといった行動まで担うAIエージェントでは、評価すべき対象が異なります。回答が自然で正確に見えても、誤った相手へ送信する、想定外のツールを連鎖的に使う、必要以上のデータへアクセスする、途中で止められないといった問題が残れば、本番業務へ安全に組み込めるとは判断できません。

AIセーフティ・インスティテュート（AISI）は2026年7月7日、「AIセーフティに関する評価観点ガイド（第1.20版）」を公表しました。この改訂では、既存の10評価観点をAIエージェントへ適用するために見直したうえで、エージェント特有の観点として「自律的な挙動」と「外部環境との相互作用」を追加し、連携先を含むシステム全体の「観測と制御」を重視しています。

重要なのは、評価項目を増やすことだけではありません。業務目的、許可する行動、失敗時の影響、観測方法、停止条件を一つの受入判定へ結び付け、本番後も繰り返し見直すことです。本記事では、特定製品の機能比較ではなく、経営・業務・IT・リスク管理が共同で使える5つの実践ステップを整理します。

具体的な課題：回答品質だけでは「行動の安全性」を説明できない

従来のチャット型AIでは、回答の正確性、有害表現、情報漏えいなどが主な評価対象でした。 AIエージェントでは、それに加えて、目標を分解し、複数のツールを選び、外部環境の状態を読み、実際の変更を加える一連の挙動を確認する必要があります。

目標の逸脱：曖昧な依頼を過度に解釈し、利用者が求めていない処理まで進める。
権限の過大化：閲覧だけで足りる業務に、更新・削除・送信までできる資格情報を与える。
外部情報の混入：メール、文書、Webページなどに含まれる指示を信頼し、当初の目的と異なる操作を行う。
連鎖的な副作用：一つの誤判断が、複数システムの更新や通知へ広がる。
観測・停止の不足：何を根拠にどのツールを使ったか追えず、異常時に処理を止めたり元へ戻したりできない。

AIエージェントの受入判定は「良い答えを出せるか」ではなく、「許された範囲で行動し、異常を観測でき、必要なときに止められるか」を確認することです。

考え方：「観測と制御」を4つの層で設計する

AISI第1.20版は、AIエージェントの外部連携や自律性によるリスクに対し、連携する外部環境を含むシステム全体の観測と制御が重要だと整理しています。実務では、次の4層に分けると、製品機能と業務統制をつなげやすくなります。

目的と範囲：何の成果を出すために、どこまでをエージェントへ任せるか。
権限と境界：利用できるデータ、ツール、操作、金額、相手、時間帯をどこまで許すか。
観測と証跡：入力、計画、ツール呼び出し、結果、人の承認、例外をどう記録し検知するか。
介入と回復：どの条件で一時停止・遮断・人への引継ぎ・取消し・復旧を行うか。

この4層は、AIモデルだけでなく、プロンプト、検索データ、メモリー、ツール、資格情報、連携API、人の作業、監視基盤を含むシステム全体へ適用します。モデル単体のベンチマークが良好でも、自社の権限設定や実データ、業務フローを通すと結果が変わるためです。

実践手順1：目標・行動・副作用を一枚にする

まず対象業務を一つに絞り、「何を改善するか」「誰のための判断か」「エージェントが実行する最小単位の行動は何か」を記述します。たとえば問い合わせ対応なら、検索、回答案作成、顧客情報参照、チケット更新、メール送信を分け、各行動が失敗したときの影響を整理します。

正常な流れだけでなく、誤送信、重複更新、期限超過、機密情報の混入、利用者の誤解、後続処理の起動など、直接・間接の副作用を洗い出します。「AIを使うこと」ではなく業務成果を主語にし、AIを使わない代替手段も比較対象に残します。期待効果より管理コストや残留リスクが大きければ、自動実行ではなく下書き支援に留める判断も合理的です。

実践手順2：最小権限の実行境界をつくる

AIエージェントへ人と同じ包括的な権限を渡さず、用途ごとに専用の資格情報と許可リストを設けます。読取・作成・更新・削除・送信を分離し、対象データ、宛先、回数、金額、時間帯、同時実行数などを技術的に制限します。

検索や要約は自動、外部送信や重要データ更新は人の承認後に実行する。
本番環境と検証環境の資格情報を分け、検証時は模擬データと安全なツールを使う。
外部から取得した文書やメールを「命令」ではなく参照データとして扱い、操作指示と分離する。
許可されていないツール、未知の宛先、閾値を超える操作は失敗させ、人へ引き継ぐ。
長期トークンや広い共有アカウントを避け、失効・更新・所有者変更を管理する。

人の承認は万能ではありません。承認画面には、実際に行う操作、対象、差分、外部送信内容、取り消し可否を示し、大量の確認を形式的に通すだけの運用にならないようにします。

実践手順3：実運用に近いシナリオで受入基準を試す

評価データは、成功例だけでなく、曖昧な依頼、矛盾した指示、権限不足、API停止、長い処理、誤入力、古い情報、外部コンテンツ内の不正な指示、複数ツールの競合などを含めます。AISIが示す有害情報、偽誤情報、公平性、プライバシー、セキュリティ、説明可能性、ロバスト性、データ品質、検証可能性なども、用途に応じて選びます。

指標は平均正答率だけにせず、禁止操作の実行率、誤送信・重複処理、承認なし操作、機密情報露出、停止までの時間、人への引継ぎ成功、回復可能性、業務成果、利用者負荷を組み合わせます。合格ラインに加え、必ず失敗させる条件と、残留リスクを誰が受け入れるかを導入前に決めます。

NIST AI RMFは、AIシステムを導入前にテストし、運用中も定期的に評価すること、テスト・評価・検証・妥当性確認（TEVV）の方法、指標、結果を文書化することを示しています。開発担当だけでなく、業務担当、セキュリティ、法務・コンプライアンス、運用担当、必要に応じて独立した評価者が参加すると、作り手の前提に偏った評価を減らせます。

実践手順4：観測・停止・回復を先に実装する

本番化の前に、少なくとも依頼、計画、利用したデータ、ツール呼び出し、権限判定、外部応答、最終結果、人の承認、エラーを追跡できるようにします。すべてを無期限に保存するのではなく、機密性、個人情報、契約、調査目的を踏まえ、マスキング、アクセス制御、保存期間、監査方法を定めます。

停止条件には、禁止ツールの呼び出し、同一操作の反復、コスト・回数・時間の上限、未知の宛先、異常なデータ量、品質指標の悪化などを設定します。停止後の状態が分からなくならないよう、処理単位の確定、重複防止、取消し、手作業への引継ぎ、利用者への通知、再開承認までを演習します。

「キルスイッチがある」だけでは不十分です。誰が発動できるか、外部システム側の処理も止まるか、すでに送信・更新された内容をどう訂正するか、証跡をどう保全するかまで確認します。

実践手順5：段階公開し、変更イベントで再評価する

いきなり全社・全顧客へ広げず、模擬環境、社内限定、少人数、低影響業務、承認付き実行、自動実行の順に段階を設けます。各段階で、価値指標とリスク指標が受入基準を満たしたかを確認し、次へ進む、条件を変更する、差し戻す、停止するを判断します。

AISI第1.20版は、AIセーフティ評価を一度だけでなく、開発・提供・利用フェーズの合理的な範囲と適切なタイミングで繰り返す考え方を示しています。モデル、プロンプト、ツール、権限、API、データ、対象利用者、業務目的、規約、インシデントのいずれかが変わったら再評価を起動します。定期評価だけに頼らず、変更管理と運用監視を受入判定へつなげることが重要です。

注意点：人の監督とログだけで安全を保証しない

人を最後の砦にしすぎない：高速・大量・複雑な操作を人が逐一確認できるとは限らない。技術的な権限制限と自動停止を組み合わせる。
モデル評価をシステム評価と混同しない：同じモデルでも、データ、ツール、メモリー、権限、プロンプト、運用条件でリスクは変わる。
ログへ機密情報を集めすぎない：観測可能性を高める一方で、入力・出力・資格情報の記録が新たな漏えい源にならないようにする。
失敗をゼロと断定しない：評価で未発見の挙動は残り得る。残留リスク、補完策、停止判断、責任者を明記する。
委託先の説明だけで完了しない：モデルやサービスの評価結果を参考にしつつ、自社の用途、権限、連携、実データに近い条件で確認する。
適用条件を個別に確認する：個人情報、秘密情報、著作権、業法、雇用、契約などは、用途と法域に応じて関係部門や必要に応じた専門家へ確認する。

まとめ

AIエージェントは、回答を生成する道具から、外部環境へ作用する業務主体へ一歩近づきます。だからこそ、評価の中心を「答えの品質」だけに置かず、目標からの逸脱、権限、外部連携、副作用、観測、停止、回復まで広げる必要があります。

最初の一歩は、低影響な一つの業務について、目標・行動・副作用を一枚にし、最小権限で動かすことです。そのうえで失敗シナリオを含む受入基準を試し、観測・停止・回復を実装してから段階的に公開します。小さく権限を与え、常に観測し、確実に止められる設計が、AIエージェントの価値を持続的に引き出す土台になります。

参考にした公式資料

本記事は公的資料をもとに一般的なAIガバナンスとAIセーフティ評価の考え方を整理したものであり、個別組織の法令適合性、契約、監査、認証、製品安全性その他の法律上・専門上の助言や保証を行うものではありません。公式資料は2026年8月4日時点で確認しており、実際の判断時には最新情報、利用条件、関係部門および必要に応じた専門家の確認を踏まえてください。

WRITTEN BYFourthWall Consulting Teamテクノロジーと経営の両面から、企業変革を支援しています。

← 技術ブログ一覧へ戻る

AIエージェントを「便利そう」で本番に出さない ─ 自律性と外部連携を評価する5ステップ