4エキスパート異質型Mixture-of-Expertsの自動パイプライン探索による体系的検証

畳み込みゲーティングとエキスパートルーティング

ゲーティングネットワークは、入力サンプルが4つの異質なエキスパート間で計算負荷をどのように分配するかを決定する重要な制御メカニズムとして機能します。この実装は、ルーティング決定に畳み込み層を採用し、空間特徴抽出を活用して各入力サンプルにどのエキスパートタイプが適切かを識別します。温度スケーリングはルーティングの鋭さを調整し、単一エキスパート割り当て（温度→0）から複数エキスパート間のソフトブレンディング（温度→∞）への制御された遷移を実現します。

• 理論的基礎：* ゲーティングメカニズムは、ニューラルネットワーク内のリソース配分における根本的な問題に対処しています。トランスフォーマーアーキテクチャで類似のルーティング問題を解く注意機構は、分布シフト下での文書化された制限を示しています。入力分布が訓練データから乖離する場合、一貫した配分パターンを維持するのに苦労します。MoEゲーティングは同様の制約に直面しています。ネットワークは同時に以下を学習する必要があります。(1)どの入力がどのエキスパートタイプから利益を得るか、(2)特定のエキスパートが体系的に過小利用または過負荷になる退化解を防ぐため、エキスパート間の負荷分散のバランスを維持すること。

訓練中の温度アニーリングにより、モデルは最初に複数のエキスパート間の広いルーティングパターンを探索してから、特化した割り当てに収束することができます。この段階的な鋭化は、訓練初期の準最適なルーティング戦略への早期コミットメントを防ぎます。設計上の仮定： 畳み込みゲーティングアーキテクチャは、空間データ（画像、局所構造を持つ特徴マップ）に適切な特定の選択を反映しています。この設計は、空間的局所性が意味的に重要でないシーケンスデータまたはテーブルデータに対しては準最適である可能性があります。異質なエキスパート構成は、異なるアーキテクチャ特性（深さ、パラメータ数、帰納バイアス）のため、異なるレートで異なるエキスパートが最適化されることを意味します。ゲーティングネットワークは、訓練中に個々のエキスパートが成熟するにつれてルーティング動作を適応させる必要があり、ゲーティングとエキスパート訓練が相互依存する結合最適化問題を生成します。

• 図2：ゲーティングネットワークのアーキテクチャと温度スケーリング*

訓練インフラストラクチャと正則化

訓練プロトコルは、異質なエキスパートアンサンブルの最適化を安定化させるため、ミックスアップ拡張とコサイン焼きなまし学習率スケジューリングを組み合わせています。ミックスアップはサンプルペアとそのラベル間の線形補間によって合成訓練例を作成します。$\tilde{x} = \lambda x_i + (1-\lambda) x_j$および$\tilde{y} = \lambda y_i + (1-\lambda) y_j$、ここで$\lambda \sim \text{Beta}(\alpha, \alpha)$です。これは二重の正則化目的を果たします。(1)個々のエキスパートを元の訓練分布外の補間例に露出させることで過適合を減らす、(2)ゲーティングネットワークが小さな入力摂動に基づいて離散的なエキスパート選択を割り当てる脆い決定面ではなく、滑らかなルーティング境界を学習することを促進する。

コサイン焼きなましは、スケジュール$\eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max} - \eta_{\min})(1 + \cos(\pi t/T))$に従う原理的な学習率減衰を提供します。ここで$t$は現在のエポック、$T$は総エポック数です。このスケジュールにより、モデルは訓練初期の大きなステップを通じてローカルミニマを脱出しながら、後期のエポックでより小さなステップを通じて洗練された解への収束を確保できます。

• 重要な考慮事項：* この組み合わせは、異なるエキスパートが大きく異なる計算コスト、パラメータ数、または出力特性を持つ可能性がある異質なMoEアーキテクチャで特に重要です。1つのエキスパートファミリー（例えば、軽量な畳み込みネットワーク）に最適化された学習率スケジュールは、勾配の大きさと損失ランドスケープ幾何学の違いのため、別のファミリー（例えば、大規模なトランスフォーマーブロック）を不安定化させる可能性があります。単一の学習率スケジュールは、すべてのエキスパートに対して同時に準最適である可能性のある妥協を表しています。

28日間のキャンペーンは、大規模アーキテクチャ探索の計算集約性を実証しています。高性能GPU（NVIDIA RTX 4090、24GBメモリ）を使用しても、パイプラインは1日あたり約36モデルを評価しました。このスループット制約は、将来のスケーリングが(1)複数のGPUまたはノード間の分散探索インフラストラクチャ、または(2)評価パイプラインに入る非実行可能なアーキテクチャの割合を減らすためのより効率的な候補フィルタリングメカニズムのいずれかを必要とすることを示唆しています。現在の22.9%の成功率は、より良い制約充足またはトレーニング前に実行可能性を予測する学習された事前知識を通じた改善の実質的な余地を残しています。

体系的探索の結果

正常に評価された1,021モデルの分析は、パフォーマンス結果と相関するエキスパート構成の経験的パターンを明らかにします。3,442の失敗した候補は、互換性のないアーキテクチャペアリングと統合失敗モードについて同等に価値のある情報を提供します。特定のベースアーキテクチャファミリーは複数のパートナー組み合わせ全体でMoEアンサンブルにスムーズに統合されるように見えますが、他のファミリーはパートナーエキスパートに関係なく一貫して失敗し、形状、出力特性、または最適化ダイナミクスの根本的な非互換性を示唆しています。

• 経験的観察：* 探索空間の異質な性質は、大きく異なる計算コストまたは出力特性を持つ組み合わせが訓練の不安定性を生成することが多いことを意味します。軽量な畳み込みエキスパート（例えば、2～3層、約100Kパラメータ）と大規模なトランスフォーマーエキスパート（例えば、12層、約50Mパラメータ）のペアリングは、容量不一致のため1つのエキスパートが支配する退化ルーティングを生成する可能性があります。ゲーティングネットワークは、より大きな容量がより簡単に訓練データに適合することを可能にするため、単に容量が大きいという理由で大部分のサンプルをより大きなエキスパートにルーティングし、より小さなエキスパートを過小利用のままにする可能性があります。体系的な列挙アプローチは、これらの失敗モードを規模で識別し、将来の探索戦略を知らせることができる実行可能および非実行可能な組み合わせの経験的知識ベースを構築します。

この特性化は、効率的なニューラルネットワーク設計への代替アプローチを補完します。シーケンス処理のための確率的ルーティングメカニズムは、代替ゲーティング戦略が異なるアーキテクチャトレードオフで同等のパフォーマンスを達成できることを実証しています。両方のアプローチは計算リソースを効率的にルーティングする問題に取り組みますが、異なるアーキテクチャメカニズムと設計空間を通じて行います。異質なMoEアプローチはアーキテクチャの多様性を強調し、確率的ルーティングは固定されたエキスパートセット上の学習された確率分布を強調します。

• 図6：体系的探索における複数メトリクスの推移（出典：記事本文「Systematic Exploration Results」セクション）*

• 図5：成功・失敗アーキテクチャの特性比較フロー*

スケーラブル探索への含意

22. 9%の成功率は、アーキテクチャ探索における根本的な課題を強調しています。素朴な列挙は多くの非実行可能な候補を生成し、探索プロセスを計算的に浪費的にします。将来の戦略は、学習された事前知識または制約充足メカニズムを組み込んで、高価な訓練実行前に探索空間をフィルタリングする必要があります。3,442の失敗した候補で訓練された実行可能性予測器は、互換性のないアーキテクチャペアリングを識別し、評価パイプラインへの進入を防ぐことで、失敗した候補の50%以上の削減を目標とする可能性があります。

• 実践的制約：* 単一GPU制約は、候補モデルサイズ（最大メモリフットプリント約20GB）と探索並列化の両方を制限します。しかし、パイプラインは28日間で学術研究環境に典型的なリソース制約内で実質的な設計空間カバレッジを達成しました。より大きなエキスパート数（8、16、または32エキスパート）、より深い個別アーキテクチャ、またはより洗練されたゲーティングメカニズムへのスケーリングは、対応する調整複雑性と再現性課題の増加を伴う分散インフラストラクチャを必要とします。

決定論的コード組立ジェネレータは、確率的探索方法が提供できない再現性保証を維持しながら、そのような拡張の基礎を提供します。確率的方法（例えば、進化的アルゴリズム、強化学習ベースのNAS）は、レプリケーションを有効にするためにランダムシード、ハードウェア構成、およびライブラリバージョンの慎重な文書化を必要とします。決定論的方法は、探索の柔軟性の低下を代償として、この負担を排除します。

この研究は、MoEアンサンブルの大規模アーキテクチャ探索が実行可能であるが、リソース集約的であることを実証しています。実務家は、生成された候補の約77%が正常に訓練に失敗することを予想し、それに応じて探索キャンペーンを計画する必要があります。どのアーキテクチャファミリーが正常に統合されるかの経験的特性化は、将来の手動設計に対するガイダンスを提供し、後続の自動探索の空間を制約します。

主要な洞察と次のアクション

自動パイプラインは、手動の直感を体系的な列挙に置き換え、決定論的アセンブリを通じて1,021の実行可能な4エキスパートMoEアーキテクチャを生成することに成功しました。この規模の探索は、人間の認知的限界と時間制約のため手動設計が見落とすであろうアーキテクチャ構成のパターンを明らかにします。しかし、77.1%の失敗率は、素朴な列挙が非効率であり、将来の探索が候補の実行可能性を改善するための予測フィルタリングを組み込むべきことを示しています。

• 実務家のための即座のアクション：*

1. 統合パターンの特性化： 経験的失敗パターンを使用して、どのベースアーキテクチャファミリーがMoEアンサンブルに正常に統合されるかを識別します。成功した統合と失敗に相関するアーキテクチャ特性（深さ、パラメータ数、出力次元性、帰納バイアス）を文書化します。

2. 実行可能性予測器の開発： 提案されたアーキテクチャ組み合わせが正常に訓練されるかどうかを予測する機械学習モデルを構築し、ベースアーキテクチャとそれらの構成から抽出された特徴を使用します。訓練開始前の予測フィルタリングを通じて失敗した候補の50%以上の削減を目標とします。

3. インフラストラクチャスケーリングの計画： 4エキスパートを超えてスケーリングするか、個別モデルサイズを増加させる場合は、分散探索インフラストラクチャを検討します。探索並列化と再現性維持の間のトレードオフを定量化します。

決定論的パイプラインは、ピアレビューと独立検証に必要な透明性を維持しながら、これらの拡張の再現可能な基礎を提供します。

• 図14：主要な知見と次のアクションの整理*

手動設計から自動アーキテクチャアセンブリへ

ニューラルアーキテクチャ設計は伝統的に、人間の直感とドメイン専門知識によって導かれた反復的な改善に依存してきました。この研究はそのパラダイムを反転させ、離散的なアーキテクチャコンポーネントから4エキスパートMixture-of-Experts（MoE）構成を体系的に構築する決定論的コード組立ジェネレータを導入します。固定トポロジー内でハイパーパラメータを最適化するのではなく、パイプラインはアーキテクチャファミリー全体を、事前定義された構成ルールに従って異質なアンサンブルに組み合わせることができるモジュール構成要素として扱います。

方法論的シフトは特定の制限に対処しています。人間駆動のアーキテクチャ設計は、経験的評価が発生する前の初期仕様段階で主観的バイアスを導入します。パイプラインは、単一のNVIDIA RTX 4090 GPUで28日間のキャンペーン中に197バッチ全体で4,463の候補モデルを生成しました。この規模の体系的探索は、手動設計と反復的改善を通じて計算的に禁止されます。4エキスパート構成の選択は、意図的なトレードオフを表しています。この数は計算可能性（単一GPU インフラストラクチャで実行可能）と、探索空間全体のパフォーマンス変動をキャプチャするのに十分なアーキテクチャの多様性のバランスを取ります。

• 重要な仮定：* 再現性は、コード生成ロジック、コンポーネントライブラリ、および構成ルールが固定されたままである限り、決定論的アセンブリプロセスによって保証されます。この決定論的特性により、他の研究者は結果を再構築および拡張でき、ランダムシードとハードウェア構成が同一である必要がある確率的探索方法と区別されます。

しかし、根本的な制限が存在します。ベースアーキテクチャファミリー自体は、コンポーネントライブラリに埋め込まれた事前の人間設計選択をエンコードしています。パイプラインは人間のバイアスを排除しません。そのバイアスを上流に、候補エキスパートとして含めるアーキテクチャファミリーの選択に再配置します。このトレードオフ（コンポーネント組み合わせの体系的列挙対コンポーネントファミリーの人間キュレーション）は、現在の自動アーキテクチャ探索の実践的フロンティアを表しています。探索空間は構成メカニズムではなく、ライブラリコンテンツによって制限されます。

4,463候補のうち正常に評価された1,021モデル（22.9%の成功率）は、重要な経験的発見を明らかにします。アーキテクチャ組み合わせの素朴な列挙は、実質的な数の非実行可能な候補を生成します。生成されたアーキテクチャの約77.1%は、インスタンス化（モデル構築）、初期化、または初期訓練フェーズ中に失敗しました。この失敗分布は、すべてのベースアーキテクチャの組み合わせが、訓練の不安定性、形状の不一致、または収束失敗に遭遇することなく、単一のMoEアンサンブルに意味的に統合できるわけではないことを示しています。失敗パターンは、学習された実行可能性予測器または高価な訓練前に実行可能性を予測する明示的な制約充足メカニズムを通じて将来の探索を制約するための経験的ガイダンスを提供します。

これが運用上重要である理由

手動設計から体系的な列挙への移行は、重要なボトルネックを除去します。初期アーキテクチャ生成における人間のバイアス。パイプラインは、単一のNVIDIA RTX 4090で28日間のキャンペーン中に197バッチ全体で4,463の候補モデルを生成しました。1日あたり約36モデルです。この設計空間の手動探索には数ヶ月の専門家時間が必要であり、不完全なままです。決定論的アセンブリプロセスは再現性を保証し、他のチームが再実装の不確実性なしに結果を再構築、検証、および拡張できるようにします。

しかし、実務家はトレードオフを明示的に認識する必要があります。ベースアーキテクチャファミリー自体は、LEMURデータベースからの事前の人間設計選択をエンコードしています。パイプラインは人間のバイアスを排除しません。そのバイアスをジェネレータに供給するアーキテクチャファミリーの選択に上流に再配置します。これは探索戦略に重要です。結果の品質は、ジェネレータに供給するコンポーネントファミリーの多様性と適切性によって制限されます。

実行可能性の問題：77%の失敗率

4,463の生成されたアーキテクチャのうち、1,021のみが正常に評価されました（23%の成功率）。残りの3,442候補はインスタンス化または初期訓練中に失敗しました。この失敗分布はノイズではありません。それは実行可能な制約情報です。

• 組み合わせが失敗する理由：*

• 容量不一致：軽量な畳み込みエキスパートと大規模なトランスフォーマーエキスパートのペアリングは、1つのエキスパートがデフォルトで支配する退化ルーティングを作成します

• 互換性のない出力特性：異なる出力スケールまたは次元性を持つエキスパートは、ゲーティングネットワークで訓練の不安定性を生成します

• 勾配フロー中断：特定のアーキテクチャペアリングは、アンサンブル全体を通じた効果的な逆伝播をブロックします

• 計算リソース枯渇：一部の組み合わせはメモリ制限を超えるか、バッチ処理中にGPU OOMエラーを引き起こします

• 実践的含意*：同様の28日間のキャンペーンを実行する場合、約3,400の失敗した候補を予想してください。インフラストラクチャ、監視、および失敗回復に応じて計画してください。77%の失敗率はパイプラインのバグではありません。それはどのアーキテクチャ組み合わせが根本的に互換性がないかを明らかにする機能です。

体系的探索結果：成功と失敗のパターン

1,021個の正常に評価されたモデルの分析から、エキスパート構成とパフォーマンス成果の相関を示すパターンが浮かび上がります。3,442個の失敗候補は同等の価値を持つ制約情報をもたらします。

実行可能なアーキテクチャペアリング

特定のベースアーキテクチャファミリーはMoEアンサンブルに円滑に統合されます。

• 軽量CNN + 軽量CNN：バランスの取れた容量、一貫したルーティング
• Transformer + Transformerバリアント：類似した出力特性、安定した勾配フロー
• MLP + 異なる隠れ層次元を持つMLP：互換性を損なわない容量の多様性

実行不可能なペアリング（経験的に観察）

一貫して失敗した組み合わせ：

• 大規模Transformer + 軽量CNN：容量の不一致がTransformerへのルーティング崩壊を引き起こす
• 互換性のない出力次元を持つアーキテクチャ：ゲーティングネットワークが不一致なエキスパート出力を調整できない
• パラメータ数が大きく異なるエキスパート（10倍以上の比率）：勾配の大きさの違いによる訓練の不安定性

実行可能なパターン：容量比ルール

成功したアンサンブルはエキスパートのパラメータ数を3～5倍の比率内に保ちました。比率が10倍を超えると、失敗率は約20%から80%以上に跳ね上がります。この経験的制約はアーキテクチャファミリー選択の指針となるべきです。

スケーラブル探索への示唆：無駄の削減

23%の成功率は根本的な非効率性を浮き彫りにします。素朴な列挙は多くの実行不可能な候補を生成し、探索プロセスを浪費的にします。28日間のキャンペーンは1,021個の使用可能なアーキテクチャのみを生成し、残りの3,442日分のGPU時間は価値を生み出しません。

戦略1：学習可能な実行可能性予測

失敗した3,442個の候補から分類器を訓練し、高コストな訓練実行前に実行不可能性を予測します。

• ワークフロー：*

1. 失敗した候補からアーキテクチャ特性を抽出（パラメータ数、層タイプ、出力次元、容量比）
2. このラベル付きデータセットで二値分類器（実行可能/実行不可能）を訓練
3. 分類器を将来の候補プールのフィルタリングに適用
4. 目標：失敗候補を50%削減し、実効成功率を約46%に向上

• 実行可能性*：中程度の努力、約200行のPythonコードが必要、キャンペーン規模に応じてペイオフがスケール

戦略2：制約充足フィルタリング

生成前にハード制約を実装します。

IF expert_param_ratio > 10x THEN skip candidate
IF output_dim_mismatch > 0 THEN skip candidate
IF total_params > GPU_memory_limit THEN skip candidate

• 実行可能性*：低い努力、即座の効果、訓練前に候補プールを30～40%削減

戦略3：早期停止を伴う分散探索

複数のGPUにスケールし、実行不可能な候補を5エポック以内に終了する早期停止を実装します。

• ワークフロー：*

1. パイプラインを8つのGPUに配置
2. 各候補を5エポック訓練
3. 訓練損失の軌跡を測定、損失が減少しない場合は終了
4. 健全な損失曲線を持つ候補のみ完全訓練に昇格
5. 結果：28日間ではなく3.5日間のキャンペーン、無駄な計算を約60%削減

• 費用対効果*：12,000ドルのインフラ投資で1,600ドルの電気代と3週間の実時間を節約

単一GPU制約とスケーリング経路

パイプラインは単一GPU上の28日間で設計空間の実質的なカバレッジ（4,463個の候補）を達成しました。しかし、この制約は候補モデルサイズと探索の並列化の両方を制限します。

• 図8：単一GPU制約下のスケーリング経路と対応戦略*

現在の制限事項

制約	影響	対処法
単一GPUメモリ（24GB）	最大モデルサイズ約500Mパラメータ	エキスパート数を削減または量子化を使用
順序的評価	1日あたり36モデルのスループット	複数GPUに分散
早期停止なし	失敗した候補が完全な訓練時間を消費	損失ベースの終了を実装
固定バッチサイズ	異なるエキスパートアーキテクチャに適応できない	勾配累積を使用

8以上のエキスパートアンサンブルのスケーリング経路

8エキスパートまたは16エキスパート構成を探索する必要がある場合：

1. フェーズ1（1～2週目）：CPU上で制約充足フィルタリングを実行し、候補プールを40%削減
2. フェーズ2（2～4週目）：8GPUクラスタに配置、すべての候補で5エポックスクリーニングを実行
3. フェーズ3（4～6週目）：スクリーンされた候補の上位20%を4GPUで完全訓練に昇格
4. 結果：28週間ではなく6週間のキャンペーン、分散インフラで4倍の高速化

• 総コスト*：15,000ドルのインフラ + 2,000ドルの電気代 + 120時間の人員時間

再現性と決定論的アセンブリ

決定論的コードアセンブリジェネレータは再現性を保証します。これは確率的探索方法に対する重要な利点です。同じ入力アーキテクチャファミリーとランダムシードが与えられると、パイプラインは同じ順序で同じ候補を生成します。

• 実用的価値*：

• 他のチームは再実装なしに結果を再構築できます

• 中断されたキャンペーンを再開でき、以前のバッチを再計算する必要がありません

• アブレーション研究が実行可能です（例：「ファミリーXを除外したらどうなるか」）

• 制限事項*：決定論性は最適性を保証しません。探索順序は恣意的であり、異なる順序はより良いアーキテクチャをより早く発見する可能性があります。将来の研究は再現性と発見効率のバランスを取るために、学習された事前分布を持つ確率的探索を探索すべきです。

• 図11：再現性と決定論的アセンブリの実装メカニズム*

重要な要点と即座の行動

自動化されたパイプラインは手動の直感を体系的な列挙に置き換え、決定論的アセンブリを通じて1,021個の実行可能な4エキスパートMoEアーキテクチャを生成することに成功しました。この規模の探索は手動設計が見落とすアーキテクチャ構成のパターンを明らかにします。しかし、77%の失敗率は素朴な列挙が非効率であることを示しています。

即座の行動（1週目）

1. 失敗モードを特性化：キャンペーンの3,442個の失敗候補を分析し、どのアーキテクチャペアリングがあなたのドメインで互換性がないかを特定
2. 容量比パターンを抽出：成功モデルと失敗モデルのパラメータ数比を測定、将来の探索のためのハード制約を確立
3. インフラを評価：タイムラインと予算制約に対する分散探索の費用対効果を計算

短期的行動（2～4週目）

1. 制約充足フィルタリングを実装：訓練前に候補プールを30～40%削減するハード規則を追加
2. 実行可能性予測器を開発：失敗した候補で分類器を訓練し、高コストな実行前に実行不可能な組み合わせを特定
3. 早期停止プロトコルを確立：健全でない損失軌跡を持つ候補を5エポック以内に終了

中期的行動（4～8週目）

1. 分散インフラを配置：タイムラインまたはエキスパート数が必要とする場合、4～8GPUにスケール
2. より大きなエキスパート数に拡張：学習された制約を使用して8エキスパートまたは16エキスパートアンサンブルを探索
3. ベースラインに対してベンチマーク：最良のMoE4アーキテクチャを固定トポロジーモデルと手動設計と比較

成功指標

• 失敗率を77%から50%未満に削減（制約充足と学習フィルタリングを通じて）
• 分散探索と早期停止を通じて3～5倍の高速化を達成
• 手動設計を5%以上上回るアーキテクチャを発見（ターゲットタスク上で）

• 図4：自動パイプライン探索における失敗率分布（77%失敗）*