Tag
10分後に船がどこにいるかを予測するのは、ほとんど物理の問題だ。だが12時間後の位置を予測するとなると、話が変わる。その船が何のための船で、どこへ向かい、船員が何をしようとしているのか。そこまで見ないと当たらないのだ。M3-Formerは、この違いを踏まえて作られた軌道予測モデルである。船の静的な属性や航海の意図を、予測にとって欠かせない入力として扱う。付け足しの情報ではない。この設計は、予測する時間が長くなるほど深刻になる3つの問題に狙いを絞っている。
トランスフォーマーのクエリ・キー・バリュー（QKV）プロジェクション機構は、Vaswani et al.（2017）が「Attention Is All You Need」を発表して以来、ほぼ疑問の余地なく受け入れられてきました。標準的なアーキテクチャは、スケーリングされたドット積アテンション計算の前に、入力埋め込みを変換するために、クエリ（Q）、キー（K）、バリュー（V）それぞれに対して3つの独立した線形プロジェクションを適用します。
これまで、トランスフォーマーの重み行列は主に推論時、あるいは訓練済みモデルの事後分析を通じて研究されてきました。一般的な仮定は、スペクトル特性（特異値分布、安定ランク、べき乗則指数）が訓練の初期段階で安定化し、層全体でほぼ均一に保たれるというものでした。この見方は、訓練プロセスを本質的に不透明なシステムとして扱い、その内部的なスペクトル進化は観測不可能か、モデル動作の理解にとって周辺的なものと考えていました。
ニューラルネットワークの訓練は根本的なアーキテクチャ制約に直面しています。逆伝播のための活性化を保存するには、O(L × B × N)に比例するメモリが必要です。ここでLはネットワーク深度、Bはシーケンス・バッチの基数、Nは特徴次元です。この線形スケーリングは、いわば強制関数を生み出します。制約そのものが、優雅に解決されれば、まったく新しいモデルクラスと訓練パラダイムを解き放つ強制関数です。
論題： 大規模言語モデルは、隠れた活性化空間におけるスペクトル位相転移を示し、これが推論タスクと事実想起タスクと相関している。これらの転移は実装ダイナミクスにおいてアーキテクチャ固有であるが、モデルファミリー全体で一貫した方向性パターンを示す。生成中に測定されたスペクトル署名は、最終トークン出力前の応答正確性に対する予測能力を示し、実務家がモデル再学習なしでリアルタイム信頼度推定を実装することを可能にする。