新しい薬が薬局の棚に並ぶとき、多くの人は「作った会社とは別の誰かが確かめたはずだ」と思っている。
ところが、いちばん高性能なAIシステムについては、その前提があやしかった。政府は、開発した会社の説明に頼るしかない場面が多かったのだ。
英国はいま、AIバイオセキュリティ研究所に1億ポンド(約1億3,400万ドル)を投じようとしている。
OpenAI、Anthropic、Google DeepMindが支援する。AIがもたらすリスクを政府が理解し、対応できるようにするための取り組みの一つだ。
ここで素朴な疑問が浮かぶ。最悪のリスクをめぐって、国とAI企業が責任を分け合う新しい形なのだろうか。それとも、政府が本来チェックすべき企業に頼ることになるのだろうか。
この記事のポイント
- 英国はAIバイオセキュリティ研究所に1億ポンド(約1億3,400万ドル)を出す。
- OpenAI、Anthropic、Google DeepMindが支援する。
- 研究所は、政府がAIのリスクを把握するための対策の一部だ。
- 業界の支援は、モデルへの接触と専門知識をもたらす。独立性への疑問も生む。
英国が自前の試験所を求める理由
この発表への一般的な受け止め方は単純だ。最先端のAIを評価するのに必要な力を、政府がようやくお金をかけて持とうとしている、というものである。
この見方には一理ある。これまで、最先端モデルを理解する公的な取り組みは、開発者が出す情報に頼ってきた。
モデルカードやシステムカード、任意の安全性報告書は役に立った。ただし、書いたのは自社製品を作った会社自身だ。
自分でモデルを試せない政府は、開発者の言葉を信じるしかない。

図1:開発者の自己申告に頼る体制と政府専用ラボの違い
専用の研究所が加えるもの
自前の研究所があれば、この状況は変わりうる。国が手にするのは、次の三つだ。
- 試す場所:モデルに自分たちの問いをぶつけられる場だ。できれば一般公開の前に使える。
- 自前の人材:外から借りるのではなく、政府の中で力を育てられる。
- 自前の手法と記録:一つのモデルが出て終わりにならない、積み上がる知識だ。
まず生物なのはなぜか
バイオセキュリティを選んだのは意図的だ。閣僚はほかのAIリスクも心配している。それでも生物の分野は、判断を誤ったときに取り返しがつきにくい。
チャットボットの間違いは修正できる。しかし、病原体をつくる手助けになる能力は、一度広まれば取り戻せない。
業界の支援が両刃になる理由
業界の後押しは、この計画を動かせるものにする。同時に、もろくもする。
AI企業は、政府にはないモデルへの接触と技術的な知識を持っている。一方で、自社の利害も持っている。この記事の残りでは、その両面を見ていく。
なぜバイオが試金石になったのか
生物は、AIの安全性試験で中心的に扱われる分野の一つになった。サイバー攻撃、偽情報、雇用の喪失も注目されている。
しかし、モデルの試験のあり方をここまで形づくった分野は多くない。理由の一部は被害の大きさにあり、一部は測りやすさにある。

図2:生物安全保障が試金石になった理由
中心の心配:専門知識の差が縮むこと
生物を使った攻撃で壁になってきたのは、情報だけではない。専門知識、時間、そして言葉にしにくい経験知も必要だった。
この経験知とは、手順書を読むことと、実際にやり遂げることを分ける手の技のことだ。レシピを読むことと、初めてでうまく料理を作ることの違いを思い浮かべるといい。
心配されているのは、高性能なモデルがその差を縮めるかもしれないことだ。新しい科学を生み出すからではない。
家庭教師のように教えるからである。モデルは、たとえば次のことをするかもしれない。
- つまずきの解決:うまくいかない実験手順の修正を手伝う。
- 抜け道の提案:材料の購入に対する規制を回避する方法を示す。
- 手ほどき:初心者を一歩ずつ導く。
どれか一つでも、攻撃を試みる人の作業を楽にしうる。今のモデルが実際にそうなっているのか、なっているならどの程度か。それを確かめるのが試験の役目だ。
生物への被害が違う理由
生物への被害は、公開後の広がり方が、ソフトウェアや情報の被害の多くと違う。次の表は、一般的な違いをまとめたものだ。典型的な場合を示しており、すべてに当てはまるわけではない。
| 特徴 | 生物への被害 | ソフトウェアや情報の被害(典型) |
|---|---|---|
| 元に戻せるか | 戻すのが難しい、または不可能 | 修正や差し戻しができることが多い |
| 封じ込め | 最初の標的の外へ広がりうる | 影響を受けたシステムにとどまりやすい |
| 対応までの時間 | 広がりが発見より速いことがある | 公開後の削除が効くこともある |
| 対策の要所 | 展開の前 | 展開後でも対処できることが多い |
こうした特徴から、公開前に試験する意味が大きくなる。被害が元に戻しにくいなら、公開後に様子を見るだけでは足りない。
危険な能力が公開後にしか表に出ないなら、被害を防ぐ機会はもう失われているかもしれない。
実際に試せる問い
バイオセキュリティは、政策を作る側にとって実務の面でも向いている。「このモデルは、生物兵器づくりを意味のある形で助けうるか」という問いは、かなり絞られている。
研究者はこれを具体的な課題にして、結果を採点し、モデル同士を比べられる。
もっと広い害になると、この扱い方は難しい。制度への信頼が下がることに、あるモデルがどれだけ関わったかをどう採点するのか。何年もかけてゆっくり進む雇用の喪失は、どう測るのか。
これらの問いも大切だが、輪郭がぼやけている。公開前の合格・不合格の検査にはなりにくい。
つまりバイオセキュリティは、技術的な試験と、市民への説明がうまく重なる分野だ。政府は予算をつけ、説明し、擁護できる。
各国がここから始める理由の一つは、おそらくそこにある。ただし、唯一の理由ではないだろう。
絞ることの代償
この分かりやすさには裏がある。注目は、測りやすいところに集まりがちだ。
試験しにくいリスクは、重要でないからではなく、試験しにくいという理由だけで目が届かなくなるかもしれない。
資金の潤沢なバイオ研究所が、思わぬメッセージを発する可能性もある。心配すべきリスクとは、試験項目にきれいに収まるものだ、と受け取られかねない。
ここでも評価が難しい理由
この絞った問いでも、よい答えを出すのは難しい。難しいのは、本当の「アップリフト」と、教科書や論文にすでにある情報を見分けることだ。
アップリフトとは、その人が元々できたことを超える助けのことである。うまく評価するには、三つのものが要る。
- 分野の専門家:有能な大学院生が自力で見つけられる範囲を、回答が超えているかを判断できる人たち。
- 実験室に近い現実味:モデルが事実を暗唱できるかどうかだけでなく、実験台での実際の作業を反映した試験。
- 公開前のアクセス:発売前にモデルを試せること。結果が後付けの説明ではなく、公開の判断に影響を与えられる。
政府と業界が共同で運営する研究所は、この三つを一か所に集めるための設計だ。未公開のモデルへの接触は、AI企業が握っている。
政府は、自前の専門家と、結果に基づいて動く権限を加えられる。どちらか一方だけでは、三つすべてをうまく満たす態勢にはなっていない。
テーブルについた企業:ロビー活動から研究所へ
なぜ主要なAI開発企業は、自分たちの最も危険な能力を試す政府の研究所を支えるのか。答えの一部は、各社がすでに公に語ってきたことにある。残りは、どちらの方向にも働く、ごく普通の自己利益だ。
Anthropicのこれまでの道のり
Anthropicの支援は、同社が以前から続けてきた立場に沿っている。同社は、米国の議員に連邦レベルの安全基準を働きかけてきた。
自主的な約束だけより、拘束力のあるルールのほうがうまくいう、というのが同社の主張だ。
国が支えるバイオセキュリティ研究所は、この主張に合う。会社自身が運営しない、外部のチェックになるからだ。
Anthropicは、壊滅的な被害についても具体的に語ってきた。法案の提案として、死者50人前後以上の大量の犠牲を出しうると考えられるモデルは、公開を止められるという案を打ち出している。
モデルを出せるかどうかを、被害の水準に結びつける考え方だ。
企業が自分で行う約束とは違う。二つの約束の違いを比べてみよう。
| 自主的な約束 | 法律上の基準 | |
|---|---|---|
| 誰が決めるか | 企業 | 議員 |
| 公開を止められるか | 企業が望んだ場合だけ | 基準に達すれば止められる |
| 誰が確かめるか | 多くは企業 | 提案では決まっていない |
いちばん下の行が重要だ。基準は、モデルがそれを超えるかどうかを誰かが判断できて、はじめて意味を持つ。 外部の評価者がいる研究所は、その判断を行う一つの方法である。
英国の研究所がAnthropicの提案した基準を実施するために作られた、とは出典に書かれていない。そうしたルールが必要とする試験の、あり得る一部分という位置づけだ。
参加で得るもの、手放すもの
企業が監督を支えるのに、無私である必要はない。この取り決めには、企業にとって明確な利点と代償がある。
企業が得うるもの:
- 信頼:安全に真剣に取り組んでいることを、政府と市民に示せる。
- 早い段階での影響力:初期から関われば、評価の設計や採点のしかたに影響を与えられる。
- 規制上の後ろ盾:この提携が十分だと見なされれば、のちのルールが緩くなる可能性がある。これは可能性であり、出典で確認されたことではない。
- 共有できる答え:危険な能力についての外部の判断は、自社の判断より擁護しやすいかもしれない。
企業が手放すもの:
- 本格的な精査:最も機微な能力を、外部の人が調べられるようになる。
- 語り方の主導権:自社モデルの調査結果がどう表現されるかについて、発言力が下がる。
- 公開のリスク:調査結果によって、公開が遅れたり変わったりする場合がある。
立場は違っても、支援は共通
OpenAIとGoogle DeepMindは、規制について公に語る立場がAnthropicとも、互いとも違う。それでも三社は同じ研究所を支える。
示唆的ではあるが、多くを証明するわけではない。バイオセキュリティは、主要な開発企業が外部の試験を正当だと認める分野の一つなのかもしれない。
あるいは、全員が署名できるほど居心地のよい条件だった、ということかもしれない。出典はどちらとも言っていない。
そこで当然の疑問が残る。チェックされる企業がそろって検査役を歓迎しているとき、その検査は十分に厳しいのだろうか。
答えは、モデルへのアクセスや、誰が結果を公表するかといった細部で決まる。発表だけでは、その細部は分からない。
ロンドンの提携型とワシントンの評価型
英国は、AI企業との付き合い方として一つの道を選んだ。ほかの道もある。米国のやり方と比べると、それぞれが何を得て何を手放すのかが見えてくる。
米国では、AIリスクへの政府の対応の一部として、技術のリスクについて報告する任務を負ったタスクフォースがある。仕事は評価と報告だ。専門家がリスクを調べ、政策担当者に提言を出す。
これに対して英国は、常設の研究所にお金を入れる。その中で政府と業界が一緒に動く。
建築の検査官にたとえてみよう。家が建つ現場に入って確かめる検査官がいる。
図面を読み、事務所で報告書を書く検査官もいる。見えるものは、それぞれ違う。

図4:ロンドンの協働モデルとワシントンの評価モデルの比較(出典:記事本文)
それぞれの設計が得やすいもの、失いやすいもの
次の表は、二つのやり方を設計として比べたものだ。原則としてどう動きやすいかを示している。
成果を報告するものではない。どちらについても、公の記録にはまだ成果がないからだ。
| 観点 | 英国の提携型 | 米国の評価型 |
|---|---|---|
| モデルへの接触 | より近い。公開前もありうる | おそらくより遠い |
| 技術的な深さ | 特定のモデルを試せる | 広いリスクの地図づくりに寄る |
| 速さ | 新しい公開に反応できる | 報告の周期に縛られる |
| 独立性 | 業界の影響を受けやすい | 距離を保ちやすい |
| 企業への依存 | 高い。企業が出すものを見る | 低いが、見えるものは少ない |
| 典型的な失敗 | 企業の選択を追認する試験 | 正確だが誰も動かない報告 |
どちらかがはっきり勝つわけではない。提携型は実際のシステムに近づけるが、作っている企業と馴れ合いになりかねない。評価型は距離を保てるが、公開前の最先端モデルをまったく見られないかもしれない。
欠けている輪:悪い結果が出たあと
どちらのやり方にも、解けていない問いが一つ残る。試験の結果が誰かを守るのは、それが公開を遅らせたり制限したりできるときだけだ。
たとえば、研究所が危険な能力を見つけて、報告書を公表したとしよう。これは意味のある仕事だ。
しかし、モデルが予定どおり出荷されるなら、報告書は記録にすぎない。何も止めていないのだ。
これまでに公開されている範囲では、悪い結果を誰がどう行動に移せるのかは、どちらのやり方でも十分に決まっていない。
ここで、Anthropicの基準の提案が関わってくる。ある案では、推定される死者数のリスクが一定の水準を超えると、モデルを止められる。こうしたルールがあれば、試験結果は実際の結果を伴うものになる。
なければ、どちらのやり方も、おもに説得に頼ることになる。
今後の二つの道
ここから、二国のやり方は近づくこともあれば、離れていくこともある。
- 近づく場合:英国と米国が、共通の試験基準と試験セットで合意する。互いの結果を認め合い、開発者はどちらの市場でも同じ厳しい基準に向き合う。
- 離れる場合:二国で、試験も基準も公開ルールも別々になる。開発者は都合のよい結果を引用したり、緩いルールに合わせて公開時期を選んだりできる。
1億ポンドが、どちらになるかを決めるわけではない。大きいのは、各国が試験の手法をどう扱うかだ。
手法が公共のインフラのように共有されれば、足並みはそろいやすい。国の資産として囲い込まれれば、離れていきやすい。
独立性、アクセス、取り込まれる問題
企業と組むことが計画の中身かもしれないが、その提携のルールが、うまくいくかどうかを決める。
業界からのお金とモデルへのアクセスは、実務の面で四つの問いを生む。この種の取り決めなら、どれにも当てはめる価値がある。
- どのモデルを試すかを誰が選ぶのか。 企業が提出するものを決めるなら、研究所が見られるのは企業が見せたいものだけになる。
- 試験はいつ行われるのか。 公開の1週間前の試験は、設計をまだ変えられる数か月前の試験より価値が低い。
- 何が公表されるのか。 外部の人が読めない調査結果では、誰の責任も問いにくい。
- 悪い結果は何かを変えるのか。 警告が何の影響も持たないなら、研究所が与えるのは安心感だけで、実際のチェックにはならない。
早期アクセスが企業に静かな力を与える理由
未公開モデルへの早期アクセスは、研究所のいちばん価値ある資源だ。同時に、企業がいちばん簡単に取り上げられるものでもある。
ある開発企業が、調査結果や報告のされ方に不満を持ったとする。関係を断つ必要はない。次のモデルを共有するのを、少し遅らせるだけでいい。
この静かな依存こそが、ここでいう「取り込まれる」ことだ。 監視役が、監視する相手の利益に沿う方向へ少しずつ寄っていくことを指す。賄賂や悪意は要らない。
もっと微妙な形でも起こる。評価する側が、誰に言われるわけでもなく、どんな結果ならアクセスが続くのかを、少しずつ学んでしまうのだ。
バイオでは公開がより難しい理由
バイオセキュリティには、ほかの多くの分野にはない問題が加わる。モデルが危険な実験手順をどう助けうるかを正確に公表すること自体が、リスクを生むかもしれない。
- ある程度の秘密は必要:危険な能力を詳しく書いた公開報告書は、手引き書として働きかねない。
- 秘密は外部のチェックも弱める:結果が非公開なら、市民は研究所の言葉を信じるしかない。
- 外から見ると似ている:妥当な機密保持と、都合のよい沈黙は、見分けにくいことがある。
外から確かめられる独立性のしるし
外部の人は、研究所の中を見られない。それでも、どう組まれているかは確かめられる。
次の表は、観察者が確認できるしるしを挙げたものだ。監督機関が一般に独立を保つしくみから引いたもので、この研究所の協定の内容として報じられたものではない。
| 確かめる点 | 独立性を示唆するもの |
|---|---|
| 手法 | 試験の設計、採点、基準を、危険な詳細を除いて公開する |
| 資金 | 中心は公的資金。企業の資金は、罰として引き揚げられない |
| アクセス | 早期アクセスが協定に書かれ、その都度の許可ではない |
| エスカレーション | 重大な結果を規制当局に伝える公的なルールがある |
| 要約報告 | 試験したモデルの数と、懸念が出た数を定期的に示す |
| 人員 | 企業からの出向者ではなく、常勤の公的職員が中心 |
どれも、よい結果を保証するものではない。ただ、合わせて備えていれば、取り込まれることは難しくなり、起きたときに気づきやすくなる。
ちょっと立ち止まって
「安全かどうかは、作った会社がいちばんよく知っている」。私たちは、そう思い込んでいないだろうか。
確かに、作った側にしか分からないことはある。だからこそ、その人たちの言葉と、外から確かめた結果が違うかもしれない場面を、想像しにくくなる。
あなたが何かを信頼するとき、その信頼は何に支えられているだろうか。検査する人がいることだろうか。それとも、検査する人が検査される側から本当に自由であることだろうか。
成功とは、どんな姿か
この提携の見方は、2つとも正しいことがありうる。画期的な成果でも、最初から仕組まれた罠でもない。
価値は、いまはまだ外から見えない選択しだいで決まる。だからこそ、成功と失敗がどんな形になるのかを、先に言葉にしておく意味がある。
目に見える4つの目印
研究所が本当に仕事をしているのか。それとも企業の判断にラベルを貼っているだけなのか。次の4つが、見分ける手がかりになる。
- 公開の判断を変える評価:評価の結果、公開が遅れたり、範囲が絞られたり、形が変わったりした例が1つでも記録されれば、研究所に力があると分かる。
- 他国が採り入れる手法:他国の評価担当者が研究所のテスト設計を使うなら、研究所は基準づくりに加わっている。企業のやり方にただ従っているのではない。
- 長く続く人材の流れ:国には、最先端のAIモデルと生物学の両方が分かる専門家が必要だ。企業から借りた人が仕事を終えて業界に戻るだけでは、国の力として残らない。
- できる範囲での透明性:高い視点からの報告を定期的に出せば、研究所が動いている証拠になる。危険な細部を公開しなくても、それはできる。
お金より前例が重い理由
1億ポンドは、見出しになりやすい数字だ。ただ、この話で重いのは金額の大きさよりも、それが残す前例のほうである。
2つの結末を並べてみよう。次の表は、それぞれの結末が何を示すことになるかを比べたものだ。
| 結末 | 示すこと |
|---|---|
| 研究所がうまくいく | AIの壊滅的なリスクは、制度で扱える |
| 研究所が失敗する | 提携は企業の判断に信用を貸すだけになりやすい |
うまくいけば、研究所はひな形になる。ひな形に入るのは3つだ。
国が持つ力、企業のモデルへのアクセス、結果として何かが変わる評価である。ほかの分野や他国も、これをまねできる。
失敗した場合の代償は大きい。こうした提携は、企業がもともとやるつもりだったことを承認するだけだ、と受け取られるおそれがある。そうなれば、次の試みを正当化するのはむずかしくなる。
これから何を見ればよいか
研究所がうまく動いているかどうか。発表文からは、ほとんど分からないだろう。むしろ、目立たない手がかりのほうが多くを語る。
- 運営に関する文書:設立の規則、アクセスの取り決め、問題が見つかったときの手順は、発表文よりも多くを伝える。
- 公開された手法:結果は非公開でも、テストの方法を明かす研究所のほうが信頼しやすい。
- 延期された公開:結果を理由にモデルの公開が止まれば、テストが歯止めとして働いたことを示す最も分かりやすい合図になる。
- 米国の動き:米国と基準を共有できれば、良い兆しだ。ルールが食い違えば、警戒すべき合図になる。
- 測りにくいリスク:生物安全保障は比較的よく測れる。これは強みだ。ただ、その強みのせいで、点数をつけにくい害が後回しになってはいけない。

図3:英国AI生物安全保障ラボを支える政府と3社の関係(出典:記事本文)

図5:アクセスと独立性のトレードオフ