意識は訓練でなく構造に宿る？　ベイジアン・ミラー・アーキテクチャが示す設計案

構造として現れる意識

多くのAIは、訓練によって性質を身につける。エンジニアが目標を決め、最適化がモデルをそこへ近づけていく。

ベイジアン・ミラー・アーキテクチャ（BMA）は、これと違う道をとる。意識の置き場所を、システムの構造に求めるのだ。特定の循環構造があれば意識はあり、なければない。

この記事のポイント

• BMAは意識を、訓練の目標や行動のラベルではなく、アーキテクチャの性質と定義する。
• 中心となる仕組みは、閉じた更新が1つだけ。時刻 t の自己状態を、時刻 t−1 のハイブリッド潜在変数で上書きする（S_t ← H_{t-1}）。
• ハイブリッド潜在変数は、世界の出来事と自己の表現を1つの信号に混ぜる。そのため、安定性と解釈のしやすさが問われる。

なぜ訓練より構造なのか

構造に注目する利点は、はっきりしている。報酬をどう設計するかという問題を避けられるのだ。

あるかないかで決まる性質は、システム側がごまかせない。最適化する損失関数もないので、報酬を悪用される余地もない。

ただし、この選択は別の難問を生む。その性質を持つシステムと、見かけの特徴をまねているだけのシステムは、何を手がかりに見分けるのか。

対比してみると分かりやすい。従来のAI安全性の研究では、問題は行動にある。

有害な指示を、モデルがいつも確実に断れるとは限らない。こうした問題は訓練の領域にあり、原理的には訓練で直せる。

BMAが重視する性質は、訓練が直接は届かない場所にある。

2つの考え方は、いくつかの点で違う。

図3：目的ベースアプローチとアーキテクチャベースアプローチ（BMA）の比較フロー

2つの方法の違い

本当の試金石：ループは何かをしているか

本当の試金石は、実用面にある。構造に注目することで、研究者は調べやすく、制約しやすく、検証しやすいものを手にできるのか。

答えは、ループが働いているかどうかで決まる。循環するループがあっても、実質的に何もしていなければ、構造に名前をつけても何も保証されない。再び注入される信号に情報がない場合がそうだ。

ループが働いているなら、研究者は監視と介入のための、名前のついた場所を得られる。 入力から出力まで一体になったブラックボックスのシステムには、それがない。

ここで問われているのは方法論だ。意識を構造として扱えば、監査できる検証が可能になる。同時に、形式的な性質を心についての主張に読み替えたくなる誘惑も生まれる。

この枠組みは、主張の範囲を慎重に絞っている。その絞り込みが実証研究に耐えるかどうかは、まだ分かっていない。

閉じたループのしくみ

アーキテクチャ全体は、1つの制約の上に成り立っている。時刻 t の自己状態を、直前のステップのハイブリッド潜在変数で上書きする。

出力が入力に戻るこの循環更新が、システムに自分自身のモデル化を迫る。前向きにしか流れない階層は、世界を表現できても自分を表現できない。

ここにループを足すと、自己モデルは、システム自身の推論の産物であり、次のステップへの入力でもあるという二重の役割を持つ。

この節のポイント

• 自己状態は、システム自身の出力によって絶えず書き換えられる。一方向の連鎖ではなく、閉じたループになる。
• ループが閉じているので、システムは自己モデル化を避けられない。それが構造に組み込まれている。
• ループの挙動が時間とともに落ち着くのか、循環するのか、流れていくのかは、まだ分かっていない。

1回の循環は、5つのステップで進む。

1. 世界についての情報が、システムに入ってくる。
2. システムは、その情報を現在の自己状態とあわせて処理する。
3. 結果として、出来事と自己をあわせ持つハイブリッド潜在変数ができる。
4. そのハイブリッド潜在変数が、次のステップの自己状態を上書きする。
5. 新しい自己状態が、次の入力の処理のしかたを左右する。

このループを取り除くと、残るのは世界モデルだ。ループを残すと、自分自身を参照するシステムになる。その動きは、標準的な深層学習の理論ではまだ説明できない。

図5：イベントと自己のバインディングメカニズム

ダイナミクスは何をしうるか

再帰ループは、安定したパターンに落ち着くこともあれば、状態のあいだを循環することもある。

落ち着かないまま流れていくことも、小さな信号が増幅されて暴走することもある。どの結果になるかで、時間をかけたシステムの振る舞いは変わる。

次の表は、起こりうる挙動を整理したものだ。

どの挙動が現れるかは、まだ試されていない設計上の選択に左右される。

• 潜在変数の次元を、どうスケーリングするか
• 階層の各レベルで、情報をどう圧縮するか
• 感覚入力と高次の抽象化が、実際にどう相互作用するか
• 1ステップの遅れが、世界モデルの更新速度とどう関わるか

遅れには、とくに注意が必要だ。世界モデルの抽象化が、自己状態の取り込める速さより速く変わると、システムは一貫性を失うかもしれない。

逆に、遅れが急な変化をならす緩衝材になる可能性もある。この定式化が実際にどう振る舞うのかは、未解決の問いのままだ。

出来事と自己を結びつける

ハイブリッド潜在変数は、世界と自己が出会う場所だ。何が起きているか と それが誰に（何に）起きているか を、1つの表現にまとめて結びつける。別々に保存してから、あとで関連づけるわけではない。

このまとまった信号が自己状態に再び注入される。そのため、自己が単独で表現されることはない。自己はいつも、システムが最後にかかわった抽象的な世界モデルと結びついている。

図7：自己多様体のパラメータ空間と軌跡の関係図

結合の問題

この設計は、それ自体が新しい結合の問題を抱えている。次のような疑問が出てくる。

• まとまった潜在変数が、出来事の成分だけ、あるいは自己の成分だけに潰れてしまうのを、何が防ぐのか。
• 結びつきは、どのようにパラメータ化されるのか。
• 時間がたつと、どちらかの成分が優勢になるのか。

同時表現にもとづくベイズ推論は、単純な連結とは違う。細部の設計しだいで、結合が安定を保つのか、片側に傾くのかが決まる。

表現力と解釈のしやすさ

密に結びつけると、表現の豊かさと見通しのよさの間でトレードオフが生じる。

ハイブリッド潜在変数を調べるエンジニアに見えるのは、高次元のベクトルだけだ。出来事の信号と自己の信号を取り出す明確な方法は、ないかもしれない。

再帰のステップが何度も重なると、自己の潜在変数の意味は、設計で捉えようとしたものから離れていくおそれがある。システムは自己参照的なままでも、意図したかたちではなくなる。

自己多様体：アイデンティティの幾何学

自己の潜在変数は再帰的に更新される。そのため、時間とともにたどる経路が、潜在空間の中に1つの領域を描く。この枠組みでは、それを自己多様体と呼ぶ。

アイデンティティは1つの点ではなく、制約を受けた状態の集まりだ。

この幾何学は、アイデンティティの変化を語る言葉を与えてくれる。

• 連続性：多様体に沿った滑らかな動き
• 不連続性：経路のとびや裂け目
• 摂動：新しい出来事が自己状態をどこまで押しやるか
• 回復：自己状態を多様体へ引き戻すもの

実用的な診断

自己参照的なシステムは、自己状態が多様体から外れたとき、一貫性を失っている。これは、再帰的なプロセスで起きる意味のドリフトと似ている。

どちらも、反復を重ねてもシステムが意図した意味を保っているかを問うものだ。多様体の特徴をつかめれば、そこから外れることが警告信号になりうる。

形が重要な理由

多様体の幾何学は、どんな自己の遷移が可能かを制約する。形が違えば、失敗のしかたも違ってくる。

この構造しだいで、システムがストレスから回復するのか、それとも壊れてしまうのかが決まる。多様体の特徴をつかむとは、システムの学習につれてハイブリッド潜在変数の幾何がどう変わるかを理解することだ。

幾何学の言葉を使えば、アイデンティティを中身の見えないベクトルとして扱わずに、論じられるようになる。

性質の検証と、安全面の限界

トポロジーは必要条件で、十分条件ではない

循環構造は、紙の上にあっても何もしていないことがある。再び注入される信号に情報がない場合や、システムの別の場所で上書きされる場合がそうだ。どちらでも、ループは働いていない。

ここで、2種類の条件を分けて考えたい。トポロジーは構造上の必要条件だ。

ループが実際に働くことは、機能上の条件にあたる。前者を示しても、後者を示したことにはならない。

このギャップを埋める実験は、いくつか考えられる。

心の言葉で語られた形式的な性質は、この定式化が支えられない結論を呼び込みやすい。この枠組みは、主張を特定のアーキテクチャ上の性質に限っている。

哲学者や神経科学者が使う意味での意識を、主張しているわけではない。

予測可能性と制御

循環する再帰では、見通しのよさと安定性の間にトレードオフが生まれる。

自己状態が見えることと、それを操縦できることは同じではない。解釈のしやすさが増しても、そのまま制御の強化にはならない。

安全面で重要な3つの点について、この定式化はまだ保証を与えていない。自己状態のダイナミクスに上限があること、目標が時間がたっても安定すること、そして確実に拒否できることだ。

現時点の証拠からすると、このアーキテクチャはアラインメント問題の置き場所を移すだけで、問題をなくすわけではない。

研究者が次にできること

この枠組みは、まだ土台の段階にある。その価値は、まだ行われていない実証研究にかかっている。直接検証するなら、次のような手順が考えられる。

• ループのダイナミクスを調べる。 初期化とスケーリングの条件を変えながら、閉じた更新を走らせる。収束するのか、振動するのか、ドリフトするのか、暴走するのかを記録する。これで、循環する階層が条件を変えても安定なのか、もろいのかが分かる。

• アブレーションを早めに行う。 ループを切り、ハイブリッド潜在変数の代わりにノイズを入れる。挙動がほとんど変わらなければ、図の上でどう見えても、ループは働いていない。このテストで、構造がそこにあることと、機能上必要であることが分けられる。

• 学習済みシステムで自己多様体の仮説を検証する。 自己状態が、潜在空間の中で構造のある領域をたどっているかを調べる。その領域を外れることが、一貫性やタスク性能の低下を予測するかも確かめる。これで、多様体の主張が測定できる幾何に結びつく。

• 結合を調べる。 何ステップも進めたとき、出来事と自己のどちらかの成分がハイブリッド潜在変数を支配するようになるかを測る。意味のドリフトも、はっきり追跡する。結合がバランスを保つのか、片側に潰れるのかが見えてくる。

• ベースラインと比べる。 具体的なタスクで、BMAのシステムと標準的なアーキテクチャを比べる。解釈のしやすさと制御は、別々に測る。これで、アーキテクチャが新しいことと、機能が向上したことを取り違えずにすむ。

どの段階でも、主張は狭く保ちたい。アーキテクチャと機能についての発見は、アーキテクチャと機能の言葉で報告する。ループ構造だけから意識を推論してはならない。

ちょっと立ち止まって

図と照らし合わせて確かめられる定義には、惹かれるものがある。行動や見かけをめぐる終わりのない議論から、抜け出せそうに思えるからだ。

けれども、紙に描いたループは仮説にすぎない。システムが自分自身を知っていることの証明にはならない。

ループがあるかどうかは、問題の中心ではないのかもしれない。ループが実際に何かをしているのか。そして、もしそうだったとき、あなたはその違いに気づけるだろうか。

図2：ベイズ鏡アーキテクチャの閉ループメカニズム（S_t ← H_{t-1}）

図8：ベイズ鏡アーキテクチャの構造的性質の検証フレームワーク