表現層がメカニスティック解釈可能性のボトルネックとなる問題：マニフェステーション・ユニット・プロトコル

インベントリ問題：豊かな分析、閉じ込められた出力

メカニスティック解釈可能性は実質的な経験的進展をもたらしています。研究者は特定の意味的特徴をエンコードするニューロンを特定する手法（Elhage et al., 2022）、注意ヘッドのルーティングパターンをマッピングする手法（Clark et al., 2019）、モデルの計算を解釈可能な回路に分解する手法（Cammarata et al., 2020）を開発してきました。しかし、この方法論的成熟は構造的な制約を隠蔽しています。分析的出力は下流のアプリケーションから孤立したままなのです。

現在の実践では、研究固有の分析プロトコルを通じて選択性テーブル、回路図、特徴帰属リストが生成されます。これらの成果物は論文に記載されたドキュメンテーションまたは補足資料として存在し、クエリ可能で機械可読な構造ではありません。事実想起メカニズムを調査する研究者は、手作業による文献レビューなしに算術推論の研究から比較可能な知見を体系的に取得することができません。監査者は複数のコンポーネント間の知見を統一的なセキュリティ評価に統合することができず、互換性のない表記法の間で翻訳する必要があります。実務家は発見されたメカニズムに対する介入をプログラム的に指定することができず、各出版物の暗黙的な慣例をリバースエンジニアリングする必要があります。

この断片化は分析的欠陥から生じるのではなく、共有表現層の不在から生じています。各研究はコンポーネント機能、活性化条件、下流の有用性を研究固有の形式を使用してエンコードしています。問題は構造的です。「このコンポーネントが何を計算するのか」「いつそれが活性化するのか」「この知識を運用的にどのように使用するのか」を表現するための標準化されたスキーマが存在しないのです。

この断片化の運用コストは3つの次元にわたって複合します。第一に、発見の冗長性：新しい監査プロジェクトは以前に特性化されたメカニズムを再発見するか、先行する知見を手作業でローカルに使用可能な形式に翻訳する必要があります。第二に、介入の脆弱性：標準的なプロトコルが「この回路修正をこれら3つのコンポーネント全体に適用する」を研究全体で一般化する方法で指定するために存在しないため、修正はアドホックなままです。第三に、検証の摩擦：主張されたメカニズムを検証するには、論文を再読し分析を再実装する必要があり、根拠となる証拠を備えた構造化データベースをクエリすることができません。

• 前提*：メカニスティック解釈可能性のスケーリングへの主な障壁は分析能力ではなく表現の標準化であると仮定します。この前提は測定を通じて検証可能です（測定セクションを参照）。

• 実行可能な含意*：新しい分析手法を開発する前に、あなたの知見が他の研究からの知見と表現、取得、構成できるかどうかを確認してください。これが不可能な場合、その作業は知的には興味深いものの、運用的には孤立したままです。

ボトルネック：分析と使用の間の表現

メカニスティック分析と下流アプリケーション間のギャップは、分析手法の改善とは独立して研究および最適化できる、明確で測定可能なボトルネックを構成しています。

分析はコンポーネント レベルの事実を生成します。「レイヤー8のニューロン247は主語位置の固有名詞に対して高い活性化を示す」。使用はシステム レベルの統合を必要とします。「モデル全体でどのニューロンが名前付きエンティティをエンコードし、それらが出力位置にそれらをルーティングする注意パターンとどのように相互作用し、信頼できる介入のための選択性閾値は何か」。これらの質問は異なる抽象化レベルで機能し、それらの間の翻訳は情報損失を伴い、手作業による努力が必要です。

ボトルネックは3つの特定の測定可能な方法で現れます。

• 非構成性*：異なる研究からの知見は異なる選択性メトリクス（例えば、活性化パーセンタイル対z スコア）、命名規則（例えば、「特徴」対「ニューロン」対「回路」）、スコープ定義（例えば、レイヤー固有対モデル全体）を採用しています。知見を組み合わせるには手作業による翻訳が必要であり、エラーを導入し、スケールを制限します。

• 非クエリ可能性*：コンポーネント特性に関する自然言語の質問を表現するための標準化されたインターフェース（「時間推論をエンコードするすべてのコンポーネントを表示」）または順位付けされた根拠のある結果を取得するためのインターフェースが存在しません。実務家は文献を手作業で検索するか、分析を再実行する必要があります。

• 非実行可能性*：メカニズムが十分に特性化されている場合でも、元の分析コードへの参照なしに実行できる介入（アブレーション、修正、ステアリング）を指定するための標準的なプロトコルが存在しません。介入は特定の実装に結びついたままであり、一般化可能な仕様ではありません。

このボトルネックは、現在のスケールでは、それを回避するコスト（手作業による翻訳、再分析）がそれを修正するコスト（フィールド全体で表現を標準化する）よりも低いままであるため、持続しています。しかし、メカニスティック分析の量が増加し、下流アプリケーション（監査、ステアリング、検証）が複数の研究全体での統合を必要とするにつれて、このダイナミクスは持続不可能になります。

• 前提*：標準化された表現は、メカニスティック解釈可能性を個別の研究を超えてスケーリングするための前提条件であると仮定します。これはパイロット実装を通じて検証可能です。

• 実行可能な含意*：あなたの解釈可能性パイプラインが元の分析を書かなかった人によってクエリ、構成、実行できるかどうかを測定してください。できない場合、あなたはワークフロー内のボトルネックを特定しています。

マニフェステーション・ユニット：コンポーネント表現のための型付きプロトコル

マニフェステーション・ユニットは、コンポーネント特性を機械可読でクエリ可能な形式でエンコードするための標準化されたタプル構造を導入します。コアタプルは**(E, S, R, D, G)であり、トランスフォーマー固有の注意特性のための追加フィールド(T)**があります。

• *E（エンコーディング）**：コンポーネントによってエンコードされた意味的または機能的内容の形式的記述。例：「固有名詞」「否定演算子」「長距離依存注意パターン」。このフィールドはプロービング（Alain & Bengio, 2016）、活性化最大化（Erhan et al., 2009）、または評価者間合意メトリクスを伴う人間による注釈を通じて入力されます。

• *S（選択性）**：活性化条件の定量的特性化。含まれるもの：活性化分布統計（平均、中央値、パーセンタイル）、コンテキスト付きの上位k活性化例、閾値動作、保持されたデータに対する偽陽性率。フィルタリング、ランキング、閾値ベースの介入設計を可能にします。

• *R（関係性）**：コンポーネント相互作用の仕様。含まれるもの：入力ソース（どのコンポーネントがこのコンポーネントに供給するか）、出力ターゲット（どのコンポーネントがその出力を受け取るか）、回路メンバーシップ（どのより大きな計算構造がこのコンポーネントを含むか）、依存関係の順序。構成クエリと回路レベルの推論を可能にします。

• *D（ダイナミクス）**：コンテキスト全体での活性化変化の特性化。含まれるもの：層ごとの進行（深さ全体でエンコーディングがどのように変化するか）、推論中の時間的進化（該当する場合）、入力摂動に対する感度（勾配ベースまたはアブレーションベースの手法で測定）。新しいコンテキストでのコンポーネント動作の予測と介入設計を可能にします。

• *G（グラウンディング）**：検証と複製をサポートするメタデータ。含まれるもの：分析手法への引用、特性化に使用されたデータセット、検証手順、信頼スコア（0-1）、再現可能なコードまたは補足資料へのリンク。検証を可能にし、下流ユーザーが信頼性を評価できるようにします。

• *T（トランスフォーマー注意プリミティブ）**：注意ヘッドの場合、追加の必須フィールド：ヘッドランク（レイヤー内の位置）、クエリ キー類似度分布、値投影構造、注意パターンクラスタリング。注意固有のクエリと介入を可能にします。

これらのフィールドは標準化された分析パイプライン（実装セクションを参照）を通じて入力され、ハイブリッド取得のためにインデックス化されます。意味論的検索（「時間推論をエンコードするコンポーネントを検索」）と構造化フィルタリング（「レイヤー6-10のコンポーネント、検証セットで選択性>0.8」）を組み合わせます。

• 具体例*：算術推論の回路は、マニフェステーション・ユニットのセットとして表現されます。各ユニットは以下を指定します。(E) どのニューロン/ヘッドがオペランドエンコーディング、加算、または結果フォーマットを計算するか。(S) 様々な難易度の算術問題に対する活性化統計。(R) オペランドニューロンと加算ニューロン間の接続。(D) オペランド大きさに伴う活性化の変化。(G) 分析手法と検証データセットへの引用。(T) 注意ヘッドの場合、オペランドルーティングのためのクエリ キーパターン。下流の監査者はこの回路をクエリし、「単一桁のオペランドに対して最も選択的なコンポーネントはどれか」と尋ね、根拠となる証拠と信頼スコア付きの順位付けされた結果を受け取ることができます。

• 前提*：5フィールドのコアタプルとトランスフォーマー固有の拡張は、現在のメカニスティック解釈可能性手法の出力を表現するのに十分であると仮定します。この前提は手法が進化するにつれて再検討されるべきです。

• 実行可能な含意*：あなたの解釈可能性パイプラインに型付き表現プロトコルを採用してください。EおよびSフィールドから始めます。分析が深まるにつれてRおよびDを追加します。分析量をスケーリングする前に、すぐに取得のためにインデックス化します。

実装：自動入力とハイブリッド取得

マニフェステーション・ユニットは、手作業による注釈なしでスケールで入力できる場合にのみ、運用的に有用です。これには分析ワークフローの標準化と分析出力からのフィールド抽出の自動化が必要です。

• *自動入力**は3つの順序立った段階を通じて進行します。

• *段階1（分析）**：各コンポーネントで標準化された分析手法を実行します。ニューロンの場合：活性化最大化（Erhan et al., 2009）、アブレーション研究（Bau et al., 2019）、プロービング分類器（Alain & Bengio, 2016）。注意ヘッドの場合：注意パターンクラスタリング、クエリ キー類似度分析、値投影分解。すべてのコンポーネント全体で比較可能性を確保するために、同一のハイパーパラメータとデータセットを使用します。

• *段階2（抽出）**：テンプレート化された抽出器を使用して分析出力をタプルフィールドに解析します。Sの場合：活性化分布からパーセンタイル、上位k例、閾値統計を抽出します。Eの場合：プロービング分類器または人間による注釈からエンコーディングラベルを抽出します。Rの場合：勾配フロー分析または注意パターン検査を通じて接続を抽出します。Dの場合：層ごとおよびコンテキスト依存の統計を抽出します。Gの場合：手法引用とデータセット識別子を抽出します。Tの場合：注意重み行列から注意固有の統計を抽出します。

• *段階3（検証）**：フィールドの完全性と一貫性を検証してからインデックス化します。S統計が保持されたデータで計算されていることを確認します。G引用が解決可能であることを確認します。R接続が有効な有向非環グラフを形成することを確認します。不完全または矛盾のあるユニットに手作業による確認のフラグを立てます。

トランスフォーマーモデルの場合、このワークフローは以下を意味します。

• Tフィールドを抽出：重み行列からの注意ヘッドランクとクエリ キー類似度分布を計算します。例全体で注意パターンをクラスタリングします。

• Sフィールドを計算：保持されたデータセットで活性化最大化を実行します。パーセンタイルと上位k例を計算します。ランダム入力に対する偽陽性率を測定します。

• Eフィールドを推論：コンポーネント活性化でプロービング分類器を訓練します。上位k例を使用して人間が読める説明を生成します。人間による注釈を使用する場合は評価者間合意を計算します。

• Rフィールドをトレース：勾配ベースの帰属を使用して入力ソースを特定します。注意パターンを使用して出力ターゲットを特定します。回路分析手法を使用してより大きな構造を特定します。

• Dフィールドを特性化：層ごとの活性化統計を計算します。勾配大きさまたはアブレーションを通じた入力摂動に対する感度を測定します。

• 具体例*：トランスフォーマーモデルの場合、ワークフローは各注意ヘッドを以下のように処理します。(1) クエリ キー類似度分布を計算し、注意パターンをクラスタリングします(T)。(2) 保持されたデータセットで活性化最大化を実行し、上位k例を抽出します(S)。(3) 注意パターンから意味的特性を予測するプロービング分類器を訓練します(E)。(4) 勾配フローをトレースして、どのコンポーネントがこのヘッドに供給し、どのコンポーネントがその出力を受け取るかを特定します(R)。(5) 注意パターンがレイヤー全体および入力タイプ全体でどのように変化するかを測定します(D)。(6) 手法引用とデータセット識別子を記録します(G)。結果のマニフェステーション・ユニットはすぐにインデックス化されます。

• *ハイブリッド取得**は意味論的クエリと構造化クエリを組み合わせて、柔軟なアクセスを可能にします。

• 意味論的検索：埋め込みベースの取得を使用してEフィールドをクエリします。例：「時間推論をエンコードするコンポーネントを検索」。システムはクエリを埋め込み、高いコサイン類似度を持つEフィールドを取得し、類似度スコアで結果をランク付けします。

• 構造化フィルタリング：SQL風の述語を使用してS、R、D、Gフィールドをクエリします。例：「レイヤー5-8のコンポーネント、検証セットで選択性>0.8を検索」。システムはレイヤーインデックスと選択性閾値でフィルタリングします。

• ハイブリッドクエリ：意味論的制約と構造化制約を組み合わせます。例：「名前付きエンティティを出力レイヤーにルーティングする注意ヘッド、選択性>0.7を検索」。システムはEフィールドで「名前付きエンティティルーティング」を検索し、Rフィールドで出力レイヤー接続をフィルタリングし、Sフィールドで選択性>0.7をフィルタリングし、順位付けされた結果を返します。

結果は関連性（意味論的検索の場合）または選択性スコア（構造化クエリの場合）でランク付けされ、各結果と共に根拠となる信頼スコアが表示されます。

• 前提*：標準分析手法（活性化最大化、アブレーション、プロービング）をモデルとコンポーネント全体で自動化および標準化できると仮定します。この前提は比較可能性を確保するために慎重な実装が必要です。

• 実行可能な含意*：あなたの分析パイプラインからのフィールド抽出を自動化します。初期Eフィールド入力を超えて手作業による注釈を必要としません。本番環境にスケーリングする前に、10の具体的なクエリで取得をテストします。

測定：ボトルネックの評価

表現は、それが下流アプリケーションを測定可能に制約する場合にのみ、ボトルネックです。3つの次元を測定します。再利用可能性、クエリ可能性、実行可能性。

• *再利用可能性**は、ある研究からの知見が手作業による翻訳なしに別の研究からの知見と組み合わせることができるかどうかを測定します。これを運用化するには：(1) 2つの発表されたメカニスティック解釈可能性研究を選択します。(2) それらの出力をマニフェステーション・ユニットに手作業で翻訳します。(3) フィールドを自動的に入力できる割合を測定します（論文テキスト、補足資料、または分析の再実行から）対手作業が必要な割合。高い再利用可能性はE、S、R、D、Gフィールド全体で>80%の自動入力で示されます。5-10の研究のサンプルでこのメトリクスを計算して、ベースライン再利用可能性を確立します。

• *クエリ可能性**は、実務家が自然言語の質問をして順位付けされた根拠のある結果を受け取ることができるかどうかを測定します。これを運用化するには：(1) インデックス化されたマニフェステーション・ユニットに20の多様な自然言語クエリを提示します（例えば、「否定をエンコードするコンポーネントを検索」「算術推論に関与する回路を検索」「名前付きエンティティに対して高い選択性を持つ注意ヘッドを検索」）。(2) 返された結果が正しいか（精度）、すべての関連結果が返されているか（再現率）を手作業で評価します。(3) 各クエリのprecision@5とrecall@20を計算します。スケーリング前に>0.8 precision@5と>0.7 recall@20をターゲットにします。

• *実行可能性**は、実務家が元の論文を再読むことなく、マニフェステーション・ユニット フィールドのみに基づいて介入を設計および実行できるかどうかを測定します。これを運用化するには：(1) 高い選択性と明確なエンコーディングを持つ10のマニフェステーション・ユニットを選択します。(2) ユニット フィールドのみに基づいて介入（アブレーション、修正、ステアリング）を指定します。(3) 保持されたテストセットで介入を実行します。(4) タスク性能の変化を測定します。高い実行可能性は>80%の介入が予測された効果を生成することで示されます（例えば、否定エンコーディングコンポーネントをアブレーションすると否定推論タスクでモデル精度が低下します）。

• 具体例*：監査者が「否定に関する推論に関与するすべての回路を検索」をクエリします。システムは選択性スコアと根拠となる信頼を持つ15のマニフェステーション・ユニットを返します。監査者はこれらの回路をアブレーションし、否定推論ベンチマークで下流タスク性能を測定します。アブレーションが精度を>20%低下させる場合、実行可能性が確認されます。結果が選択性スコアと矛盾する場合、実行可能性は低く、プロトコルは改善が必要です。

• 前提*：これら3つのメトリクスは独立しており、すべてで高いパフォーマンスは表現の成功を示すと仮定します。この前提はパイロット実装を通じて検証されるべきです。

• 実行可能な含意*：マニフェステーション・ユニットをスケーリングする前に、5-10の研究と3-5のモデルのパイロットデータセットでベースライン再利用可能性、クエリ可能性、実行可能性を測定します。各メトリクスの明示的なターゲットを設定します。プロトコルが成熟するにつれて改善を追跡します。すべての3つのメトリクスがターゲット閾値を超えるまでスケーリングしません。

リスクと対策

Manifestation Unitの採用と拡張を脅かす三つのリスクが存在します。

• リスク1：表現バイアス*。タプル構造（E、S、R、D、G、T）は特定の分析タイプ（例えばニューロンレベルの分析）を優遇し、その他のタイプ（例えば分散表現、重ね合わせ）を周辺化する可能性があります。これは特定の解釈可能性手法に対する体系的なバイアスを生み出し、スキーマに適合しない手法の開発を阻害する恐れがあります。

• 対策*：非標準的な知見と分析タイプに対応する拡張可能な「メタデータ」フィールドを含めます。コアタプルで表現できない分析が何であるかを定期的に監査します。監査結果に基づいて12～18ヶ月ごとにスキーマを改訂します。新興の分析タイプを追跡するためにスキーマ拡張のレジストリを維持します。

• リスク2：グラウンディング劣化*。Manifestation Unitが合成され、クエリされ、下流のアプリケーションで使用されるにつれて、元の証拠への接続が弱まります。元の分析から派生したユニットから派生したユニットは、グラウンディングの信頼度が低い可能性がありますが、この劣化は下流のユーザーには見えないかもしれません。

• 対策*：すべてのクエリと合成を通じてグラウンディング信頼度スコアを伝播させます。ユニットが結合される場合、信頼度を構成ユニットの最小信頼度として計算します。新しいユニットが派生する際に、ソースユニットの明示的な引用を要求します。他のユニットから派生したユニットの信頼度スコアを低減する「信頼度減衰」関数を実装します。

• リスク3：時期尚早な標準化*。プロトコルに早期にロックインすることは、分野が進化するにつれてより良い表現の可能性を排除する可能性があります。早期の標準化はまた、必要な改訂に抵抗する制度的慣性を生み出す可能性があります。

• 対策*：プロトコルを明示的にバージョン管理します（例えばv1.0、v1.1、v2.0）。バージョン間の移行パスをサポートします。採用を一度限りの決定ではなく、段階的なプロセスとして扱います。プロトコル進化のためのガバナンスプロセスを確立します。必要になる前にマイグレーションツールを構築します。

• 実行可能な示唆*：小規模で信頼できる分析とモデルのセットから開始します。表現を段階的に標準化します。すべての前提と設計上の決定を文書化します。スケーリング前にマイグレーションツールを構築します。

次のステップ：移行とスケール

Manifestation Unitを三つの段階的フェーズを通じて運用化します。各フェーズには明示的な成功基準があります。

• フェーズ1（1～3ヶ月目）：パイロット*。一つのトランスフォーマーモデルと一つの分析手法（例えばニューロンの活性化最大化）を選択します。すべてのコンポーネントについてE、S、Rフィールドを入力します。20個のクエリで検索をテストします。ベースライン再利用性を測定します（目標：70%以上の自動入力）。ギャップと欠落フィールドを文書化します。成功基準：（1）すべてのコンポーネントがE、S、Rフィールドを持つ、（2）検索クエリでprecision@5が0.7を超える、（3）再利用性が70%を超える。

• フェーズ2（4～6ヶ月目）：拡張*。三つのモデルに拡張し

• 図2：現在の分析出力の断片化：研究ごとに異なる形式で孤立した成果物（出典：the-inventory-problem-rich-analysis-locked-outputs）*

• 図4：分析と利用の間のボトルネック：表現層の役割と制約*

• 図6：Manifestation Unit Protocol のスキーマ構造（出典：article protocol specification）*

• 図8：自動抽出パイプラインとハイブリッド検索システムの実装アーキテクチャ*

• 図10：ボトルネック評価の3つの主要メトリクス測定フレームワーク*