電卓で2+2と打てば、答えが出る前から結果は分かっている。では、チャットボットに長いメールの要約を頼んだらどうか。照らし合わせるべき「唯一の正解」は存在しない。

このちがいがあるから、AIシステムのテストは多くの人が思うより難しい。仕事でAIの出力を頼りにしているなら、決して人ごとではない。

従来のソフトウェアのテストは、ひとつの前提に立っていた。入力が決まれば、正しい出力も決まっているという前提だ。AIシステムは、この前提を崩してしまう。

AIの振る舞いは、人が書いた論理ではなく、データから学んで決まる。出力は確率的だ。「正解」が幅のある範囲だったり、順位だったり、判断の問題だったりすることも多い。

そこで、AIシステムのテストは「品質の特性」を押さえるところから始まる。8つの特性があれば、作業に筋道がつく。特性ごとに重みは変わり、それぞれに別の確認が要る。

この記事のポイント

  • AIのテストの核心は、出力が正しいかをどう決めるかという「テストオラクル」の問題だ。
  • 8つの特性は、性能・運用・価値の3グループに分かれる。精度は1つの数字ではなく、選んだ指標の集まりだ。
  • テストは公開後も続く。失敗は小さく抑え、倫理の目標は文書の合格基準にし、自動の結果も人が確かめる。

なぜAIには従来のテストが通じないのか

従来のテストは、正しい答えを前もって書き出せることが前提だった。AIではそれができないので、「品質」を確認できる部品に分けて考える必要がある。

従来のソフトウェアテストとAIシステムを左右2列で比べた図。左の従来のテストは、仕様を読んで期待出力を書き、実際の結果と照合し、合否を判定するという流れで、ロジックが明示的で毎回同じ結果になることを前提とする。右のAIシステムでは、この前提が5つの点で崩れる。振る舞いはデータから学習されルールは学習済みの重みの中にあること、出力がモデルのバージョンや実行ごとに変わりうること、要約・翻訳・推薦では正解が一つに決まらないこと、全体スコアが高くても入力の狭い一部で大きく失敗しうること、品質が学習データ・実行環境・ユーザーの反応などコードの外の要因にも左右されることである。下部の帯は、正しい出力を誰も定義できなければ合否チェックはほとんど何も証明せず、これがテストオラクル問題だと結論づけている。

図1:従来のテストの前提とAIシステムがそれを崩す5つの点

従来の方法と、その限界

従来のテストでは、テスト担当者が仕様書を読み、期待する出力を書き出していた。そのうえで実際の結果と見比べる。結果は合格か不合格かだ。

この方法は、論理がはっきりしていて、毎回同じ結果が出る場合にうまくいく。AIシステムは、その各段階を揺るがす。

  • 振る舞いはデータから生まれる:「これを不正と分類せよ」と書かれたコードの行はない。ルールは、学習した重みの中にある。
  • 出力にばらつきがある:同じ入力でも、モデルのバージョンが違えば結果が変わる。実行のたびに変わることもある。
  • 正しさがあいまいだ:要約、翻訳、おすすめは、さまざまな形で許容されうる。
  • 平均が失敗を隠す:全体の点数が高いシステムでも、入力の狭い一部では大きく失敗することがある。
  • 品質はコードの外にも左右される:学習データ、動かす環境、ユーザーの反応も、振る舞いを形づくる。

テストオラクルの問題

では、期待する出力の一覧の代わりに何を使えばいいのか。この問いが、テストオラクルの問題だ。

正しい出力がどんなものか誰も言えないなら、従来のテストから持ち込んだ合格・不合格の判定では、ほとんど何も証明できない。テストは動くし、結果も緑色で表示される。ただ、そこから分かることが少なくなるのだ。

品質を8つの確認できる部分に分ける

道は、「品質」をはっきりした特性に分けることにある。そうすれば、特性ごとに確認を用意できる。

8つの特性は3つのグループに分かれ、それぞれ別の問いに答える。

グループ問い特性
性能ちゃんと動くか精度、頑健性
運用安全に動き続けるか安全性、制御可能性、保守性
価値人を適切に扱うか公平性、透明性、プライバシー

すべてのシステムで、全特性を同じ重さで見る必要はない。採用ツールと倉庫のロボットでは、失敗のしかたが違う。システムの役割に応じて、重点は変わる。

次の表は、各特性がとくに大事になるシステムと、よく使う確認方法をまとめたものだ。

特性とくに大事なシステムよくある確認
精度分類器、ランキング、生成AIアシスタントスライス別の指標、ゴールデンセット
頑健性知覚システム、言語モデル、AIエージェントメタモルフィックテスト、ファジング、レッドチーム
安全性物理的・自律的なシステム、ツールを使うAIエージェントガードレールとフェイルクローズのテスト
制御可能性人の確認が少ないまま動くシステム実際に使う上書きとロールバック
保守性頻繁に再学習するモデル一括のバージョン管理、全テストの再検証
公平性与信、採用、保険、公共サービスグループ別の指標、反事実テスト
透明性規制対象や重大な判断説明の忠実性の確認
プライバシー個人データで学習したモデルメンバーシップ推論と抽出の検査

精度と頑健性:ちゃんと動くか

精度も頑健性も、システムが役目を果たせるかを問う。精度は普通の入力での話で、頑健性は珍しい入力や悪意のある入力での話だ。

精度にふさわしいものさしを選ぶ

精度は、いちばん確認しやすい品質に見える。ところが実際には、いちばん測り方を間違えやすい。

つまずきの始まりは、全体の点数を1つだけ見ることだ。1つの数字では、誤りがどこに集まっているかが見えない。たとえば、取引の1%が不正だとする。

すべてを「正常」と判定するモデルは、精度99%になる。それでいて、不正は1件も見つけられない。

同じずれは、公開後にも起きる。おすすめ機能が、オフラインの基準では好成績なのに、実際のユーザーにとってはかえって使いにくくなることがある。テストと現実が、別のものを測っているだけかもしれない。

役に立つ指標は、間違いの種類ごとの損失を映している。次の3つの確認がよく登場する。

  • 適合率と再現率:不正を見逃す損失と、客を誤って止める損失は違う。どちらを重くみるかは、どちらの間違いが痛いかで決まる。
  • 較正(キャリブレーション):モデルが「確信度90%」と答えた回答を集めると、約90%が正解になるはずだ。あとの判断は、この数字が表のとおりの意味を持つことを当てにしていることが多い。
  • スライス別の評価:結果を、ユーザー層、地域、言語、入力の種類で分ける。平均が良くても、システムが失敗する層が隠れていることがある。

指標と同じくらい、テストデータも大事だ。テスト用のデータは、学習データから切り離しておく。さらに、次のような漏れがないかも調べる。

  • ほぼ同じ例:ほとんど同じ例が、学習データにもテストデータにも入っている。
  • 同じユーザー:同じ人のデータが、両方に現れる。
  • 未来の情報:予測の時点ではモデルが知りえなかった情報が、テストデータに含まれている。

漏れが紛れ込むと、点数が測っているのは実力ではなく、暗記になってしまう。

ここで役立つのが、固定したゴールデンセットだ。これは、難しい事例を選んでまとめ、中身を変えずに保つ集まりである。モデルが変わったとき、性能の後退を見つける安定した基準になる。

生成AIの採点が難しい理由

生成AIでは、唯一の正解がないことがある。要約を頼めば、いろいろな要約が許される。

よく使われる方法は3つある。

  1. ルーブリック(採点基準)による採点:事実の正確さ、網羅性、口調などの決まった基準で、出力に点をつける。
  2. ペアでの比較:評価者が、2つの出力から良いほうを選ぶ。10点満点で点をつけてもらうより、判断が安定することが多い。
  3. モデルによる判定:別のモデルが出力を採点する。大量の採点ができるようになる。

3つ目には落とし穴がある。判定役のモデルにも、独自の偏りがあるのだ。長い答えを好んだり、特定の文体を好んだり、自分が書いた出力を好んだりするかもしれない。

つまり、判定モデルの採点が信頼できるのは、人間の評価と最後に照らし合わせた時点までだ。この照合は、1度で終わらせず、定期的にくり返す必要がある。

精度は、システムについての1つの事実ではない。誰かが選んだ測定の集まりだ。その選択は設計上の判断である。

理由が明記された選択のほうが、ツールが初期設定で出す点数よりも、はるかに多くを教えてくれる。

端っこでの頑健性を確かめる

頑健性は、学習のときに見たものと違う入力が来たとき、システムがどう振る舞うかを問う。少しずつ予測できる形で崩れるのか、それとも一度に崩れるのか。

入力は、2種類に分けて考える価値がある。1つは、センサーのノイズ、誤字、めずらしい言い回しのように、偶然にずれたものだ。

もう1つは、敵対的な摂動やプロンプトインジェクションのように、害を与えるために作られたものだ。

頑健性がとくに重要なのは、現実世界を感知するシステムや、自分で動くシステムだ。運転支援、工場の検査、言語モデル、ツールを使えるAIエージェントなどがそうだ。

次の表は、よく使う手法と、それぞれが確かめることをまとめたものだ。

手法確かめること
メタモルフィックテスト意味を変えない入力の変更で、出力が同じか
ファジングとデータ拡張生成した珍しい入力での振る舞い
敵対的レッドチームジェイルブレイク、プロンプトインジェクション、悪用
模擬の相手役悪意のある、またはあいまいなユーザーやサービスを相手にした、エージェントの振る舞い

メタモルフィックテストが役に立つ理由

テスト担当者は、ある入力に対する正解が分からないことがよくある。これがオラクル問題だ。メタモルフィックテストは、その一部を回避できる。

考え方は単純だ。正しい答えは分からなくても、2つの答えが一致するはずだということは分かる。

質問を意味を変えずに言い換えれば、答えは同じままのはずだ。写真を少し明るくしても、検出される物体は同じままのはずだ。

条件が1つある。変更が、本当に意味を保っていなければならない。車を見つけるなら、画像を回転させても問題ない。

しかし手書き数字を読むなら、上下を逆にした6は9になってしまう。

エージェントの頑健性を日常の確認にする

エージェントでは、CI(コードが変わるたびに動く自動チェックの仕組み)の中で、模擬の相手役を使って動かすことが大きな転機になる。

そうすれば、頑健性は1回かぎりの監査から、くり返せる回帰テストに変わる。モデルやプロンプトを変えるたびに、同じ敵対的な場面を通ることになる。

  • 毎回同じ場面:バージョン間で結果を比べられる。
  • 自動で動く:監査を思い出して実行する人は要らない。
  • 後退を早く見つける:安全な振る舞いを壊すプロンプトの手直しが、公開前に見つかる。

こうした目的のために作られたツールを見ると、実際の流れがつかめる。一例が、CIの中で、模擬の相手役を使ってエージェントやサービスをテストするCATTだ。

安全性・制御可能性・保守性:安全に動き続けるか

どのシステムも、ときには間違える。安全性が問うのは、その次だ。間違いがどれだけの害を生みうるのか、そして広がるのを止めるものがあるのか。

失敗を封じ込める

頑健性が問うのは、負荷がかかったときにシステムがどれくらい壊れるかだ。安全性は、そこから先を引き受ける。

システムが間違えたとき、結果はどれほど悪くなるのか。被害を抑える仕組みはあるのか。

火災報知器を思い浮かべてほしい。火事が絶対に起きないことを確かめる人はいない。確かめるのは、火事のときに報知器が鳴るかどうかだ。

安全性には、専用の確認が要る。

  • 本当に作動するガードレール:拒否、フィルター、代替の経路は、わざと試して確かめる。動くと思い込むだけでは済まさない。
  • 不確かな答えの安全な扱い:確信度が低い出力は、安全な初期値か人に回す。これが役立つのは、確信度の数字が、システムが実際に当たる頻度を映している場合だけだ。
  • フェイルクローズ:何かがおかしいとき、またはシステムが自信を持てないとき、害のない状態に戻る。推測して進めたりはしない。
  • 取り消せない操作の制限:エージェントは、削除、支払い、送信のうち取り消せないものを、しかるべき承認なしには実行できない。

目標は、システムが決して失敗しないと証明することではない。データから学ぶモデルでは、その証明は現実的ではない。

目標は、どこで失敗するかを洗い出し、その失敗が小さく収まり、気づかれることを確かめることだ。

公開後に品質が落ちる理由

従来のソフトウェアは、公開後はたいてい変わらなかった。コードが固定されていれば振る舞いも固定され、テストは公開の時点で終えられた。

AIシステムは、同じようには止まっていない。公開前のテストをすべて通ったシステムでも、コードを1行も変えないまま、使ううちに悪くなることがある。

よくある原因は3つある。

  • データドリフト:入力が変わる。新しい端末、新しいスラング、新しいタイプの顧客が現れ始める。
  • コンセプトドリフト:入力と正しい答えの関係が変わる。たとえば、不正のパターンは変わり続ける。
  • フィードバックループ:人がシステムの使い方を変える。システム自身の出力も、あとで目にするデータを形づくる。

通勤に少し似ている。道順は同じでも、渋滞、道路工事、ほかの運転手によって、道中の様子はいつも変わっている。

軌道を保つ2つの特性

この少しずつの変化に向き合う特性が2つある。2つは、別々の問いを立てる。

特性問い
制御可能性(「介入可能性」ともいう)人が監視し、上書きし、止め、元に戻せるか
保守性うまくいっていた部分を壊さずに再学習できるか

制御可能性は、その場で動くことにかかわる。保守性は、時間をかけてシステムを安全に変えることにかかわる。

実際に役立つ確認

この2つの特性は、実際に使われてこそ意味がある。使われているかを示す確認が5つある。

  1. 本番での監視。実際の入力と出力の質を、基準と比べる。ずれてきたら、警告が出る。
  2. 実際に使う上書きの経路。人による操作は、設計書に書くだけでなく、実地で試す。誰も一度も引いたことのない緊急停止スイッチは、試されていないのと同じだ。
  3. すべてを一緒にバージョン管理する。モデル、データセット、プロンプト、設定を、ひと組としてバージョン管理する。そうすれば、どんな失敗も再現できる。
  4. 全テストの再実行。再学習のたびに、公平性や頑健性を含む、すべての品質確認を走らせる。精度だけでは足りない。ある部分の修正が、気づかないうちに別の部分を壊すことがあるからだ。
  5. 練習したロールバック。前のモデルに戻す手順は、あらかじめ予行演習をしておき、すばやくできるようにする。

AIシステムでは、テストは公開で終わらない。システムが動いているかぎり、続いていく。

公平性・透明性・プライバシー:倫理の原則をテストに変える

多くの組織は、AI倫理の原則をすでに文書にしている。ところが、システムが合格か不合格かを判定できる確認にまで落とし込んでいる組織は少ない。

政府、企業、標準化団体がつくる倫理の枠組みは、どれもよく似た短いリストに行き着く。

世界のAI倫理原則がこれほど似ている理由で掘り下げたとおり、この重なりは偶然ではない。共通するリストには、次の原則が入っている。

  • 公平性
  • 透明性
  • 安全性
  • プライバシー
  • 説明責任

この重なりは、テストする側にとって助けになる。価値の3つの特性は、この共通の原則とそのまま対応する。だから、目指す先はすでにはっきりしている。

難しいのは、原則をテストに変えるところだ。

公平性:「公平」の意味を選ぶ

公平性のテストは、まず、どの定義の公平性を使うかを決めなければならない。よく使われる定義は、それぞれ別のものを測る。だから、1つを選ぶ必要がある。

  • グループ別の指標:保護される属性ごとに、結果を比べる。人口統計上の均等、均等化オッズ、誤り率の差などがある。
  • 反事実テスト:名前や性別のような、センシティブな属性だけを変える。そのうえで、結果が変わるかを確かめる。

では、すべての定義を満たせばいいのではないか。

グループ別の定義どうしは数学的に衝突することがあり、一般には、すべてを同時に成り立たせることはできない。この衝突は、現実の結果が起きる頻度がグループごとに違うときに、典型的に現れる。

そこで選ぶことになる。チームは、使い方に合う定義を選び、なぜそれを選んだのかを書き残す。

透明性:本当で、使える説明

説明がテストするに値するのは、2つの別々の基準を満たすときだけだ。この2つは、確かめ方も違う。

  • 忠実であること:説明は、出力を実際に動かしたものを映していなければならない。あとから語られるもっともらしい話は、数に入らない。確認の1つに、説明が重要だとする特徴を取り除き、予測が変わるかを確かめる方法がある。
  • 使えること:説明を受け取る人が、理解でき、行動に移せなければならない。

忠実でも、誰も読めない説明は、2つ目の基準を満たせない。分かりやすくても、原因を取り違えた説明は、1つ目の基準を満たせない。

プライバシー:主なパイプラインの外も見る

プライバシーのテストは、個人データがモデルや周辺のシステムから漏れうるかを問う。次の3種類の確認で、大半がカバーできる。

  • メンバーシップ推論の検査:特定の記録が学習データに入っていたことを、攻撃者が見抜けるかを調べる。
  • データ抽出の検査:生成モデルが、記憶した個人データをそのまま繰り返さないかを調べる。
  • データ取り扱いの確認:プライバシーのルールが、主なパイプラインだけでなく、ログ、テレメトリ、フィードバックのループでも守られているかを確かめる。

状況によってテストが変わる理由

3つの分野はどれも、システムがどこで使われるかによって変わる。次の表は、場面によって適切なテストがどう変わるかを示している。

システム変わること
与信モデル公平性の基準が、法域によって異なりうる
医療ツールおすすめ機能とは別の説明が要る
コンテンツのおすすめ機能医療ツールとは別の説明が要る

ここでのテストとは、掲げた原則を、バージョン番号つきの明確な合格基準に変えることだ。この一歩がなければ、倫理は方針の文書のままにとどまる。システムは、それに照らして実際にテストされることがない。

ちょっと立ち止まって

AIの品質というと、つい「点数の高いものが良いAI」と考えていないだろうか。その点数は、誰が、何を、どう測って決めたものなのだろう。

もうひとつ。公開した日に合格したAIは、今日も合格のままだろうか。あなたが頼りにしているAIの出力について、正しさを誰がいつ確かめているのか、思い当たるだろうか。

テスト結果の解釈についての要点を示す図。要点は「自動テストの結果にも人によるレビューが要る」である。補足として、指摘の件数だけでは品質の良し悪しを判断できないこと、指摘を根本原因でまとめて件数ではなく利用者への影響で優先順位を付けること、どの指摘が本当の問題だったかを記録して検出器の精度を追うことの3点を挙げている。

図3:テスト結果の解釈と次の対応の要点

結果をどう読み、どう動くか

自動チェックは1つの問題を解決するが、別の問題を生む。出てきた結果を判断する人が、やはり必要なのだ。

AIが作ったコードやマークアップ、コンテンツを検出ツールにかけると、数十件の指摘が返ってくることが多い。

AIコーディングエージェント向けの検出ツールで、ある1つのHTMLページを監査したところ、94件の指摘が出た[^1]という例もある。

こうした一覧には、たいてい次のような指摘が混ざっている。

  • 重複:同じ問題が何度も報告されたもの。
  • 重要度の低いスタイルの問題:実際に問題ではあるが、影響は小さい。
  • 誤検出:調べてみると問題ではなかったもの。
  • 本物の欠陥:全体に占める割合は、たいてい小さい。

件数が判断を誤らせる理由

警告灯だらけの車のダッシュボードを思い浮かべてみよう。灯りの数を数えても、エンジンがもうすぐ壊れるかどうかは分からない。

指摘が長く並んでいても、品質が悪いとは限らない。指摘が少なくても、品質が良いとは限らない。

では、どう整理すればいいのか。役に立つ仕分けは、次の3つの習慣に行き着く。

  • 根本の原因でまとめる:1つの属性が抜けていたせいで出た10件の指摘は、欠陥1つとして数える。
  • 件数ではなくユーザーへの影響で順位をつける:プライバシーの漏えい1件は、スタイルの警告50件より重い。
  • 検出ツールの精度を記録する:どの指摘が本物だったかを残しておけば、信頼できるチェックが分かる。

よい目標どうしがぶつかるとき

品質の特性は、いつも同じ向きを向いているわけではない。1つを良くすると、別の1つを犠牲にすることがある。よくあるトレードオフを次の表にまとめた。

トレードオフ例
頑健性と精度敵対的な攻撃への対策を固めると、通常の入力での精度が下がることがある
説明可能性と性能解釈しやすさの条件を課すと、最も強いモデルが使えなくなることがある
プライバシーと精度差分プライバシーはノイズを加えるため、精度が下がることがある
安全性と有用性拒否を厳しくすると、正当な依頼まで止まることがある

トレードオフの中身も、その理由も、担当者も記録していなくても、判断は下される。気づかないうちに、最後にしきい値を調整した人が決めているのだ。

節の要点を示す図。「倫理的な目標は、書面の受け入れ基準にして初めてテストできる」という要点を大きく示し、補足として3点を挙げている。多くの組織は倫理原則を書面で持つが、合否を判定できるチェックにした例は少ないこと。公平性・透明性・プライバシーは原則のままでは合否を判定できないこと。それぞれを具体的なテストケースと基準に落とし込む必要があり、たとえば公平性ではまず「公平」の定義を1つ選ぶこと。

図2:倫理原則をテスト可能な受け入れ基準に変える