チャットボットに質問すると、その言葉は何枚も重なった「層」を通り抜けてから答えになって出てくる。
中で何が起きているかの説明は、たいてい部品の話で終わる。モデルのどの部分がどの仕事を受け持つのか、という話だ。
新しい研究は、別の問いを立てた。層が働く「順番」そのものに意味はあるのだろうか。
答えしだいで、研究者がAIの動きを説明したり、不具合を直したりするやり方が変わってくる。ひょっとすると、速くする方法も変わるかもしれない。いまや多くの人が仕事で使っているAIツールの話だ。
この記事のポイント
- 著者らは1つのトークン(モデルが扱う言葉の単位)が層を通る様子を追った。内部の状態の変化を、測れる「道筋」として扱っている。
- Qwen、Llama、Gemmaのモデルで、本来の層の順番は道筋をまっすぐにした。始点と終点が同じまま順番を入れ替えたものより、2点を結ぶ直線に1.60〜2.24倍よくそろっていた。1
- 層の順番が実際に役割を果たしていることは示された。ただ、モデルが「段階を追って推論している」とまでは言えず、実用面はまだ試されていない。
モデルの中を見る2つの方法
これまでの研究は、主に「どこで」処理が起きるかを問うてきた。この研究が問うのは、1つの答えが時間の流れの中でどう組み上がっていくか、だ。
ふつうのやり方は「メカニスティック解釈可能性(mechanistic interpretability)」と呼ばれる。
特定の能力を担う部品を探す方法だ。たとえば個々のニューロン、アテンションヘッド(どこに注目するかを決める仕組み)、回路などである。
これは役に立つ。ただ、描き出すのは固定された配置で、いわば部品表のようなものだ。
部品表からは、物事がどの順番で起きるのかは分からない。その順番に意味があるのかどうかも見えない。
著者らはこう書いている。こうした研究は「機能をパラメーターやアテンションヘッド、ニューロンに位置づけるが、それらの部品は1回の推論がどう展開するかを特定しない」1。
著者らのやり方は違う。「順番どおりに並んだ層の状態の軌跡を、実際に観測できる過程として」扱う。そのうえで「層の順番が、測定可能な計算を定めているかどうか」を確かめた1。
下の表は、2つの見方で見えるもの、見えないものを比べたものだ。
| 部品の見方 | 過程の見方 | |
|---|---|---|
| 調べるもの | 1つの部品や方向 | 1語が層を通る道筋 |
| よくある問い | この部品を外すと何が壊れるか | 手順の順番が結果を形づくるか |
| 得意なこと | 特定の部品が振る舞いの原因だと示す | モデルを1回通る全体を描く |
| 見落とすこと | 部品が層をまたいでどうつながるか | どの部品がその曲がり角を生むか |
どちらかがもう一方に取って代わるわけではない。部品の見方が強いのは、振る舞いが少数のはっきりした場所に宿っているときだ。
過程の見方が強いのは、別の場面である。手順が積み上がるのか、打ち消し合うのか、さまようのかを問いたいときだ。

図1:部品を見る見方と過程を見る見方の違い(出典:論文1の記述に基づく記事本文の対比表)
道筋をどう測るか
方法はあえて単純にしてある。モデルの本当の道筋を、始点と終点が同じで途中の順番だけを入れ替えたコピーと比べるのだ。

図2:端点弦と、層の順序を入れ替えた経路との比較(出典:記事で引用した研究の手法説明)
始点と終点を結ぶ直線
ある語の道筋は、モデルに入ったところで始まる。終わるのは、モデルが出力を選ぶときに使う最後の状態だ。
この2点を直線で結んでみる。著者らはこれを「終点弦(endpoint chord)」と呼ぶ。
目的地へまっすぐ向かう道筋は、この直線の近くにとどまる。寄り道の多い道筋は、直線から離れていく。「弦への整列度(chord alignment)」は、これを1つの数字にまとめたものだ。
順番を入れ替えるテスト
通勤を思い浮かべてみよう。家も会社も、立ち寄る場所も同じまま、寄る順番だけをでたらめにする。
本当の経路が、でたらめな経路よりずっとまっすぐだったとしよう。それなら、立ち寄る順番が役割を果たしていることになる。
研究では、これと同じテストをモデルに対して行った。
- ある語について、層ごとの状態の本当の並びを記録する。
- 同じ状態、同じ始点と終点を使い、途中の手順だけ順番を変えた道筋を作る。
- 本当の道筋と入れ替えた道筋が、それぞれどれだけ直線に沿っているかを比べる。
どちらも終点と手順は共通している。だから両者に差が出るなら、その原因は順番しかありえない。
1つの数字で得るもの、失うもの
道筋全体を1つの数字にまとめると、代わりに失うものもある。
- 得るもの:モデルどうしを比べやすい。ノイズにもあまり左右されない。
- 失うもの:道筋の形がならされてしまう。どれだけ急に曲がるか、どれだけ速く進むか、どこで向きを変えるかも見えなくなる。
順番に意味が「あるかどうか」を示すなら、1つの数字で足りる。「どこで」「どのように」意味を持つのかを突き止めるには、もっと細かい測り方が必要になるだろう。
画像生成モデルの似た発想
画像生成モデルには、すでに似た考え方がある。FlowBudgetが示したのは、フローマッチング型モデルが学んだ動きの形から分かることだ。
サンプラー(画像を少しずつ作っていく手順)が本当に何ステップ必要かが、再学習なしで分かるという。
今回の研究も、トランスフォーマーの層を同じように読む。別々の箱の集まりとして見ずに、ひと続きの道筋として読むのだ。
ただし、大きな違いが1つある。下の表は、2種類のモデルを比べたものだ。
| フローマッチング型 | トランスフォーマー | |
|---|---|---|
| 道筋をたどるよう訓練されているか | はい、設計上そうなっている | いいえ |
| 整った道筋は意外か | いいえ | はい |
だからこそ、トランスフォーマーで整った道筋が見つかったことは、本物の発見と言える。
1.60〜2.24倍という結果の意味
試したどのモデル系統でも、本来の層の順番は、入れ替えたときよりはっきりまっすぐな道筋を生んだ。どれだけまっすぐになるかは、モデルによって違った。
対象は、Qwen、Llama、Gemmaの代表的なチェックポイント(保存されたモデルの状態)だ。著者らはこう報告している。
「本来の順番による道筋は、終点を保ったまま入れ替えたものに比べ、終点弦に1.60〜2.24倍よくそろっていた」1。
数字の読み方は次のとおりだ。
| 比率 | 意味すること |
|---|---|
| 約1.0 | 順番は関係なく、手順が足し合わさるだけ |
| 1.60(観測の最小) | 順番が道筋にはっきり向きを与える |
| 2.24(観測の最大) | 各手順が前の手順に強く積み上がる |
比率が2に近いなら、手順は打ち消し合わずに積み上がっている。並び順そのものが仕事をしているのである。
共通の性質か、モデルごとのくせか
この結果には2通りの読み方がある。どちらにも一理ある。
| 読み方 | 根拠 | 説明できること |
|---|---|---|
| 学習済みトランスフォーマーに共通 | 別々に学習された3系統で見られた | 順番に意味が「ある」こと |
| モデルごとに違う | 範囲の上端は下端より約40%高い | 順番が「どれだけ」大事か |
モデルのあいだで何かが違っている。ただ、それが何なのかは、この研究では調べていない。有力な候補はこうだ。
- 大きさと深さ:モデルの規模と、層の数。
- 正規化:各層の値を、どこでどのように調整し直すか。
- 学習:データの組み合わせと、学習した期間。
- 設計の細部:語の位置をどう扱うか、アテンションをどう組んでいるか。
たとえば深さだけが違うモデルのように、1点だけ異なるモデルどうしを比べてみる。そうすれば、原因を絞り込めるかもしれない。
この結果が示していないこと
この発見は、大げさに受け取られやすい。道筋がまっすぐだと分かっても、言えるのは順番が一貫しているということまでだ。計算の中身が何なのかは分からない。
スコアが高くても、次のことは示されていない。
- モデルが「段階を追って推論している」こと
- 各層が、意味の処理をきれいに1段階ずつ受け持っていること
- 道筋のどの部分が、最も順番に左右されるか
小さな調整がたくさん重なっても、なめらかでまっすぐな道筋はできる。いくつかのはっきりした段階があっても、同じようになりうる。この1つの数字では、両者を見分けられないのだ。

図4:今回の結果が示すことと示さないこと
これまでの知見との関係
この結果は、ほかの道具で示されてきたことと合っている。新しい指標はそうした手がかりをまとめるもので、置き換えるわけではない。
下の表は、以前の観察と今回の結果のつながりを整理したものだ。
| 以前の観察 | どうつながるか |
|---|---|
| 途中の層から読み出すと、予測が層ごとに固まっていく | 最終状態へ着実に進む動きと合う |
| 中間層は、最初や最後の層より入れ替えに強いらしい | 両端で順番が最も大事だと示唆。1つの数字では確認できない |
形と働きを結びつけるには
道筋の形に意味があると示すには、別の実験が要る。道筋を変えてみて、出力がどうなるかを見る実験だ。たとえば次のような設計が考えられる。
- ある層で、語の道筋をわざとずらす。
- 順番が大きく関わる区間と、あまり関わらない区間に、同じ大きさのずれを加える。
- それぞれのずれで、出力がどれだけ変わるかを比べる。
順番が大きく関わる区間でのずれのほうが、出力を大きく崩したとする。そうなれば、道筋の形はモデルの働きと結びついていることになる。
使い道になりそうなこと
モデル内部の道筋に測れる向きがあるなら、その向きを役立てられるかもしれない。以下の案はどれもまだ仮説で、それぞれに危うさもある。
| 使い道 | 期待できること | 主なリスク |
|---|---|---|
| 早めに打ち切る | 道筋が落ち着いたら後ろの層を省く | 後ろの層が小さくても決定的な修正をしているかもしれない |
| 変わった入力を見つける | もつれた道筋が、紛らわしい入力や珍しい入力の目印になる | 誤報。難しい入力は、もっともな理由でさまようこともある |
| 回路の主張を確かめる | ある回路が本筋を説明するのか、脇道なのかを試す | 測定の手間が増える |
早めの打ち切りが割に合うのは、節約できる分が、まれに起きる品質の低下を上回るときだけだ。打ち切りの判断基準も、実際の出力と照らして確かめる必要がある。
入力の目印は、それだけでふるい分けに使うと危うい。いくつかある信号の1つとして使うのがいちばんだろう。
この研究がどこまで広がるかは、いくつかの未解決の問いにかかっている。
- 学習の途中:まっすぐさは早い段階で現れるのか。能力が身につくにつれて鋭くなるのか。過学習(学習データに合わせすぎること)で薄れるのか。
- 入力ごとの違い:語の種類、タスク、プロンプトの難しさで変わるのか。
- もっと細かい形:曲がり方、速さ、向きを変える点を見れば、1つの数字に隠れた段階が見えてくるのか。
筆者の見立て
この研究の強みは、比べる相手の選び方にある。本当の道筋を、終点が同じで順番だけを入れ替えたものと比べた。
これで、いちばん思いつきやすい別の説明を取り除ける。調べたいただ1つのこと、つまり順番だけを取り出せるのだ。
ただし、結果は聞こえるより狭い。筆者なりに整理すると、こうなる。
- 示されたこと:3つのモデル系統で、層の並び順がトークンの道筋をよりまっすぐにしている。
- 示されていないこと:層が何を計算しているのか。
- まだ言えないこと:実用的な道具の裏付けになるかどうか。
次の一手として最も役に立ちそうなのは、介入のテストだろう。道筋を変えて、出力が悪くなるかを見るのだ。それがないままでは、道筋の幾何学はどれほどきれいでも、記述にとどまる。
ちょっと立ち止まって
AIモデルを、大きな対応表のように思い描くのは簡単だ。質問を入れれば答えが出てくる、というイメージである。この研究は、その思い込みを揺さぶる。
試したモデルでは、内部の手順の順番が、答えまでの道のりを測れるほど形づくっていた。誰もモデルに、道のりをたどるよう教えていないのに、である。
あなたがAIの答えを信じたり疑ったりするとき、見ているのは出てきた答えだけだろうか。それとも、そこにたどり着くまでの道のりも見ているだろうか。
そして自分の仕事でも、部品ばかり調べて、それが動く順番を見落としている場面はないだろうか。

図3:実際の層順序は入れ替えた場合より1.60〜2.24倍、端点弦にそろう(出典:記事で引用された研究論文)