Mixture-of-Experts | Tags

2026年9月25日 07:39

港の窓から見える海が何本もの分かれた航路になっていて、ネコ耳の編集者ネコさんが小さな船の行き先を予想しようとコンパスを構えているイラスト。

長期の船舶予測はなぜ外れるのか　M3-Formerが挑む3つの壁

10分後に船がどこにいるかを予測するのは、ほとんど物理の問題だ。だが12時間後の位置を予測するとなると、話が変わる。その船が何のための船で、どこへ向かい、船員が何をしようとしているのか。そこまで見ないと当たらないのだ。M3-Formerは、この違いを踏まえて作られた軌道予測モデルである。船の静的な属性や航海の意図を、予測にとって欠かせない入力として扱う。付け足しの情報ではない。この設計は、予測する時間が長くなるほど深刻になる3つの問題に狙いを絞っている。

#マルチモーダルモデル #深層学習 #自然言語処理

AI・機械学習

2026年7月9日 08:44

Technical illustration of a neural network gating mechanism showing a central control hub routing data through four distinct expert pathways, visualized with glowing connections and flowing data streams in blue and purple tones

4エキスパート異質型Mixture-of-Expertsの自動パイプライン探索による体系的検証

ゲーティングネットワークは、入力サンプルが4つの異質なエキスパート間で計算負荷をどのように分配するかを決定する重要な制御メカニズムとして機能します。この実装は、ルーティング決定に畳み込み層を採用し、空間特徴抽出を活用して各入力サンプルにどのエキスパートタイプが適切かを識別します。温度スケーリングはルーティングの鋭さを調整し、単一エキスパート割り当て（温度→0）から複数エキスパート間のソフトブレンディング（温度→∞）への制御された遷移を実現します。

#機械学習 #深層学習 #ニューラルネットワークアーキテクチャ

#Mixture-of-Experts

長期の船舶予測はなぜ外れるのか M3-Formerが挑む3つの壁

4エキスパート異質型Mixture-of-Expertsの自動パイプライン探索による体系的検証

長期の船舶予測はなぜ外れるのか　M3-Formerが挑む3つの壁