Tag
潜在ワールドモデルは、高次元観測空間での計画立案のための支配的な計算手法となっています。その中核的な前提は、生の感覚データではなく圧縮された潜在表現において学習と計画立案を行うことで、計算オーバーヘッドを削減しながら意思決定に必要な十分な忠実度を維持するというものです（LeCun et al., 2022; Ha & Schmidhuber, 2018）。知覚（エンコーディング）と動力学（予測）の関心の分離は、ロボティクスとシミュレーション領域全体で有効性が実証されています。
マルチタスクグラフ事前学習フレームワークは、根本的な構造的不整合に直面しています。ランダムに初期化されたプロンプトは、事前学習された知識を下流タスクに効果的に転移させるために必要な帰納的バイアスを欠いています。この不整合は、それぞれが文書化された結果をもたらす3つの異なる失敗モードを通じて現れます。第一に、弱いタスク関連性が生じるのは、プロンプトがタスク目的への明示的な整合性を持たない制約のないパラメータとして機能するときです。
トランスフォーマーは言語タスクとビジョンタスク全般で最先端の性能を達成していますが、その学習メカニズムは依然として完全には特性化されていません。解釈可能性研究の大多数は二つの異なるスケールで動作しています。微視的スケール（個別の注意ヘッド、特定のニューロン）と巨視的スケール（最終出力ロジット、集約損失関数）です。ここに重要な欠落が生じています。中視的スケール、つまり層スタック全体にわたる表現幾何学の体系的進化です。この進化を理解することは三つの実践的目標に不可欠です。
知識編集手法、特にROME（Rank-One Model Editing）とMEMIT（Mass-Editing Memory in a Transformer）は、トランスフォーマーモデルにおける標的化された事実更新のメカニズムとして提示されています。理論的な約束は単純明快です。特定のMLP（多層パーセプトロン）の重みを修正することで、実践者は新しい事実主張を反映するようにモデル出力を変更しながら、関連のない知識を保持できるというものです。
既存の選好最適化技術—Direct Preference Optimization（DPO）、Negative Preference Optimization（NPO）、および関連手法を含む—は主に出力確率分布を修正することで行動レベルで機能します。しかし、機械的解釈可能性研究からの経験的証拠は、そのような訓練後も潜在空間に有害な表現構造が残存することを示唆しています。