Tag
ゲーティングネットワークは、入力サンプルが4つの異質なエキスパート間で計算負荷をどのように分配するかを決定する重要な制御メカニズムとして機能します。この実装は、ルーティング決定に畳み込み層を採用し、空間特徴抽出を活用して各入力サンプルにどのエキスパートタイプが適切かを識別します。温度スケーリングはルーティングの鋭さを調整し、単一エキスパート割り当て（温度→0）から複数エキスパート間のソフトブレンディング（温度→∞）への制御された遷移を実現します。
これまで、トランスフォーマーの重み行列は主に推論時、あるいは訓練済みモデルの事後分析を通じて研究されてきました。一般的な仮定は、スペクトル特性（特異値分布、安定ランク、べき乗則指数）が訓練の初期段階で安定化し、層全体でほぼ均一に保たれるというものでした。この見方は、訓練プロセスを本質的に不透明なシステムとして扱い、その内部的なスペクトル進化は観測不可能か、モデル動作の理解にとって周辺的なものと考えていました。
現代の深いニューラルネットワークは計算を標準化されたパイプラインに分解しています。線形変換、非線形活性化、正規化層です。このアーキテクチャパターンは原理的な導出ではなく経験的観察から生まれました。広く採用されている活性化関数（ReLU（整流線形ユニット）、GELU（ガウス誤差線形ユニット）およびそれらの変種）は明示的な幾何学的根拠を欠いています。これらは基礎となるデータ多様体構造とは独立に動作する区分的近似として機能します。