M3-Former：混合エキスパートを使った長期船舶軌道予測のマルチモーダル・トランスフォーマー

10分後に船がどこにいるかを予測するのは、ほとんど物理の問題だ。

だが12時間後の位置を予測するとなると、話が変わる。その船が何のための船で、どこへ向かい、船員が何をしようとしているのか。そこまで見ないと当たらないのだ。

M3-Formerは、この違いを踏まえて作られた軌道予測モデルである。船の静的な属性や航海の意図を、予測にとって欠かせない入力として扱う。

付け足しの情報ではない。この設計は、予測する時間が長くなるほど深刻になる3つの問題に狙いを絞っている。

• マルチモーダル性：同じ状況からでも、まったく違う航路に分かれることがある。
• 文脈の使い方の浅さ：使える文脈情報があっても、うわべだけしか活かせていない。
• 誤差の蓄積：小さな誤差が、何ステップも積み重なって大きくなる。

この記事では、このフレームワークがそれぞれの問題にどう応えているのかを見ていく。

あわせて、この手法が本当にうまくいっていると確かめるにはどんな証拠が必要か、そして実際に使うときにどんなリスクが残るのかも扱う。

この記事のポイント

• 長期の船舶予測がうまくいかない理由は3つあり、それぞれがつながっている。行動の分岐、文脈の使い方の浅さ、誤差の蓄積だ。
• M3-Formerは、船の静的な属性と動きの情報を1つの表現空間の中でそろえ、その上で複数のエキスパートに予測を振り分ける。
• 意味的な事前情報（セマンティック・プライア）は、長い時間軸で予測がぶれすぎないよう支える「錠」のような役目を狙っている。
• この手法は、正確なメタデータと、意図を正しく読み取れることに支えられている。だが実際のAISデータでは、この両方がよく怪しくなる。
• 一般的な移動距離誤差の指標だけでは、この手法の核心の主張は確かめられない。モードの網羅性、予測時間ごとの誤差、頑健性のテストが必要になる。

なぜ長期の船舶予測はうまくいかないのか

多くの軌道予測モデルは、予測を時系列の回帰問題として扱う。

位置・方位・速度の履歴を取り、そのまま先に延ばしていく。短い時間なら、この方法はよく当たる。慣性が支配的だからだ。

だが時間が長くなると、互いを悪化させる3つの問題にぶつかる。

行動が分岐する。 貨物船は目的地へ直行することもあれば、燃料補給のために別の港へ立ち寄ることもある。

漁船は同じ漁場を回り続けることもあれば、新しい漁場へ移ることもある。平均誤差を最小にするよう学習した回帰モデルは、その中間を取ってしまう。

結果として出てくるのは、どの実際の選択にも当たらない、ぼやけた航路だ。

文脈が使われないまま残る。 船の種類、大きさ、用途は、その船がどこへ行けるのか、なぜ行くのかを強く縛っている。大型タンカーとタグボートは違う動き方をする。

ところが多くのモデルは、この情報を無視するか、最初の1回にしか使わない。

誤差が積み重なる。 予測した各ステップは、次のステップの入力になる。

1時間目のわずかな方位の誤差が、12時間後には大きな位置のずれになる。途中で軌道修正する手段がなければ、予測はどんどんずれていく。

M3-Formerの前提は、船の行動はでたらめではないということだ。コンテナ船の航路は、その種類、寸法、運航上の意図によって形作られている。

もしこれらの性質が予測の各ステップに反映されるなら、長期の予測をもっと現実的な航路に近づけられるかもしれない。ネットワークを深くするだけでは、この構造は手に入らない。

図3：予測時間に伴うエラー蓄積 - 従来モデルとM3-Formerの比較（出典：M3-Former論文の実験結果）

図2：予測時間軸による問題の変化 - 短期予測（物理ベース）vs 長期予測（意図ベース）

「船が何であるか」と「どう動くか」を同じ空間に置く

このモデルの核となる工夫は、船の静的な属性と動的な軌道の特徴を、自己注意機構（セルフアテンション）を通じて同じ潜在空間にそろえることだ。ここで問われる設計上の問いはシンプルである。

船の種類のようにゆっくり変わる事実と、位置や速度のように速く変わる状態を、片方が他方を押しつぶさないように、1つの表現の中にどう収めるか。

M3-Formerは、これを2つの入力の流れとクロスモーダル注意層で解いている。

• 静的な流れ：船の種類、全長、幅、用途といった属性を、事前学習済みの大規模言語モデル（LLM）で埋め込みに変換する。これにより、テキストから学んだ船のカテゴリー同士の意味的な関係が取り込まれる。
• 動的な流れ：位置の履歴、方位、速度は、時間を扱うエンコーダーで数値のまま符号化する。

注意層は、この2つの流れがどう関係し合うかを学習する。

ただ両者をつなげてデコーダーに渡すのではなく、どの意味的特徴がどの動きのパターンに関わるかを学ぶ。たとえば、船の大きさが旋回の鋭さにどう影響するか、といった具合だ。

この方法なら、意味的な情報は最初に一度付け足すだけでなく、表現全体を通じて効き続ける。 また、船の性質が行動にどう影響するかを人手でルール化する必要もない。

この設計には、実際に効いてくる3つのトレードオフがある。

• 事前情報のずれ：LLMの埋め込みは言語上の関係を捉えている。これは軌道データにある幾何的・物理的な制約と一致しない場合がある。2つの船種が言葉としては近くても、海の上ではまったく違う動きをすることもある。注意層はこのギャップを自力で埋めなければならず、それがうまくいく保証はどこにもない。
• 計算コスト：LLMの部分を加えることで、処理の重さが増す。応答の速さが求められる海事システムでは、これが響いてくる。
• メタデータへの依存：静的な流れの質は、入力データの質次第だ。船の記録が不完全だったり誤っていたりする場合、それに頼るモデルは、動きの履歴だけを使うモデルより成績が悪くなることもある。

意味的な流れがどれだけ役に立つかは、状況によって変わってくるだろう。意図が安定していて、動きの履歴だけからでも読み取りやすい場面では、伸びは小さいかもしれない。

逆に、メタデータが不完全な場面――実際のAISデータではよくあることだ――では、静的な属性への依存がむしろ弱みになる。

どちらもありうる話だが、まだ測られていない。どちらが正しいかを確かめるには、そうした条件を切り分けたアブレーション実験が必要になる。

珍しい船種や、普段とは違う運航パターンも別の壁になる。LLMの埋め込みが持っているのは、学習した言語上の連想であって、物理の法則ではない。

学習中にほとんど見たことのない船種には、あまり助けにならないかもしれない。

混合エキスパートで行動を振り分ける

M3-Formerの振り分けの発想はシンプルだ。1つのデコーダーに、あり得る未来をすべて平均させるのではなく、それぞれの予測を複数の専門エキスパートのどれかに送る。

ゲーティング・ネットワークが、いま船がどんな行動をしていると推定されるかに基づいて、どのエキスパートに担当させるかを決める。

それぞれのエキスパートは、異なる行動のモードを担当するよう学習される。

• 航行中：港と港のあいだを一定に進む動き
• 操船中：進路や速度を変える動き
• 待機中：位置を保つ、あるいは同じ場所を回る動き
• 入港準備：到着に向けた最終的な位置取り

このエキスパートへ振り分けるゲートは、船の種類、現在の位置、推定された意図といった、共有表現を作るのと同じ意味的な事前情報に基づいて動く。つまり振り分け自体が、船の意図に直結している。

航行中と読まれたコンテナ船は、主に航行用のエキスパートに流れる。港の近くにいるタンカーは、主に入港準備のエキスパートに流れる。

この設計は、他の分野でも見られるタスク別振り分けの発想と同じだ。

個々のエキスパートの専門性という局所的な目的と、共有された意味的基盤という全体の構造とのバランスを取る。そしてどちらも、同じ弱点を抱えている。崩壊だ。

図6：Mixture of Experts - 複数の専門家による行動ルーティング（M3-Former論文のMoE設計から導出）

振り分けが失敗するとき：崩壊の問題

崩壊とは、ゲートの信号が弱すぎたり、均一になりすぎたりすることで起こる。すると、船が実際に何をしていようと、予測のほとんど、あるいは全部が1つのエキスパートに流れ込むようになる。

表向きは複数のエキスパートを持つモデルでも、実際には1つのデコーダーとして動いてしまう。

一般的な精度の指標では、この崩壊は見抜けない。常に平均に近い軌道を予測するモデルは、平均の移動距離誤差では良い成績を出しつつ、あり得る未来の広がりを取りこぼしていることがある。

移動距離誤差は、平均としてだいたい合っていることに報酬を与える。行動の多様性を捉えることには報酬を与えない。

ゲートには、もう一つ根の深い弱点がある。意図を正しく読み取れるかどうかに依存している点だ。

手元のデータから意図がうまく読み取れないとき――AISの報告がまばらだったり不規則だったりする場合によくある――振り分けの信号は雑音混じりになる。

すると各エキスパートには混ざった入力が入り、専門化が崩れていく。

この混合エキスパートの仕組みが狙ったとおりに働くには、2つの条件がそろう必要がある。

• 手元のデータから、振り分けの判断を支えられるだけの確信度で意図を読み取れること。
• 学習中も学習後も、各エキスパートが互いに意味のある違いを保ち続けること。

どちらも、この設計だけでは保証されない。実際に確かめる検証が必要だ。

意味的な事前情報で誤差の蓄積を抑える

M3-Formerがもっとも大胆に掲げる主張は、静的な属性と意図に予測を根づかせることで、短期の精度向上を超えて、長い時間軸での誤差の増え方そのものを抑えられるはずだ、というものだ。この主張は、それなりに筋の通った仕組みに基づいているが、まだ確かめられてはいない。

その仕組みはこうだ。予測が先へ進むにつれて、意味的な事前情報がゆるやかな制約として働く。

航行中のコンテナ船であれば、その事前情報は「何かが起きない限り、進路と速度を保つ」というものになる。こうした制約があれば、ずれていく予測を、物理的にありうる航路へ引き戻せるはずだ。

すると、小さなずれが歯止めなく積み重なるのを止められる。

この解釈は、モデルの設計から自然に導けるものだ。ただし、各ステップでこの「引き戻し」がどれくらいの頻度と強さで働いているかは、モデルの内部を見るか、狙いを絞った実験で確かめる必要がある。

この仕組みが説明どおりに働いているとしても、はっきりした限界がある。

• 意図が安定していることを前提にしている。 天候、新たな指示、運航上の問題などで、船が航海の途中で計画を変えることはある。古い意図に結びついた事前情報は、予測を誤った方向に引っ張り、誤差を減らすどころか増やしてしまうかもしれない。
• 最初の意図の読み取りが正しいことを前提にしている。 最初に読んだ意図が間違っていれば、その錠は最初から間違った場所に下ろされることになる。
• 粒度をどう取るかというトレードオフがある。 事前情報を粗い間隔でしか確認しないと、確認と確認の間に誤差が積み重なる。毎ステップ確認すれば計算コストが上がる。どこで折り合いをつけるのが正しいのかは、まだはっきりしていない。

正しい検証方法は、予測時間ごとに誤差を分けて見る分析だ。短時間、中時間、長時間それぞれで誤差を報告し、単一モードのベースラインと比べる必要がある。

意味的な根拠づけが主張どおりに働くなら、長い時間軸での誤差の増え方が、ベースラインに比べて緩やかになっているはずだ。

ここでもう一つ問いが出てくる。その改善は、なめらかで予測しやすい航路だけで起きているのではないか。

もしそうなら、この主張は最初に見えるより狭い範囲にしか当てはまらない。だから結果は、素直な航海と、途中で意図が変わるような不規則な航海とに分けて示す必要がある。

図9：セマンティック・プライアーの強度とエラー蓄積 - 3つのシナリオ比較（出典：M3-Former論文の実験結果から推定）

図8：セマンティック・プライアーによるエラー制御 - 長期予測の軌跡修正メカニズム（M3-Former論文の誤差制御戦略から導出）

厳密な評価が示すべきこと

平均移動距離誤差だけでは、M3-Formerの核心の主張は確かめられない。それぞれの主張に対応する、いくつかの追加の測定が必要になる。

実際に使う場面では、3つのリスクが目立つ。

メタデータの質。 実際のAISデータには、船の種類、寸法、目的地の欄が欠けていたり誤っていたりすることがよくある。

静的な属性を軸にしたモデルには、その属性が信用できないときにどう性能が落ちるのかを、はっきり示す必要がある。ゆるやかに落ちるなら扱いやすい。急に崩れるようなら、多くの現場では実用に耐えない。

遅延。 LLMによる符号化とクロスモーダルの注意機構は、推論の時間を延ばす。海事の用途によっては、速く頻繁な更新が求められる。

衝突回避や入港スケジュールの調整はその例だ。こうした場面では、計算コストの上乗せが、わずかな精度向上に見合わないこともある。

より単純なベースラインと推論時間を比べれば、そのトレードオフが割に合うかどうかが見えてくる。

汎化。 一般的な貨物船やタンカーの航路を中心に学習したモデルは、珍しい船種や見慣れない状況ではうまく機能しないかもしれない。

意味的な埋め込みが表しているのは物理ではなく言語であるため、分布外のケースに対する保証は、そもそも組み込まれていない。

これらのリスクは、この手法に欠陥があると示すものではない。むしろ、強力な研究成果と、実運用に耐えるシステムとを分ける境目にある証拠を指し示している。

図10：厳密な評価フレームワーク - 従来メトリクスから多次元評価へ

表2：船舶軌跡予測の評価メトリクス比較

マルチモーダル軌道モデルを評価するチームへの実践的なステップ

M3-Formerや同種のモデルを検討しているチームは、次の確認を使えるだろう。

1. まず意図の推定を検証する。 意味的な事前情報に頼る前に、手元の履歴データから航海の意図を読み取れるかどうかを確かめる。自分たちの船団で意図がしばしば曖昧だったり不安定だったりするなら、意味的な根拠づけは期待された効果を出しにくい。

2. モードの網羅性を明示的に測る。 モード別の移動距離誤差や、あり得る未来の領域をどれだけ覆えているかといった、多様性を意識した指標を使う。これによって、混合エキスパートが異なる行動を本当に捉えているのか、1つのモードに崩壊していないのかが確かめられる。

3. 予測時間ごとの比較を行う。 1時間、6時間、12時間、24時間といった時間軸で誤差の増え方を測り、単一モードのベースラインと比べる。意味的な根拠づけが長期の誤差曲線を緩やかにしているのか、それとも短期の精度しか改善していないのかを見る。

4. メタデータへの頑健性を負荷テストする。 手元のデータのコピーを使い、船の属性を意図的に壊したり取り除いたりする。記録が不完全な本番環境で、モデルがどう振る舞うかが分かるよう、性能の劣化曲線を作っておく。

5. 計算コストを測る。 現実的な負荷のもとで、より単純なベースラインと推論の遅延・メモリ使用量を比べる。リアルタイムの用途では、誤差がやや大きくても速いモデルのほうが良い選択になることもある。

ちょっと立ち止まって

M3-Formerが立てているのはシンプルな考え方だ。

船の未来の航路は、これまでどこにいたかだけでなく、その船が何であり、何をしようとしているかにも左右される。このフレームワークの価値の多くは、その考え方を設計の中で本気で扱っていることにある。

残された問いは、証拠に関わるものだ。手元のデータから意図を確実に読み取れるのか。航海が予想外に方向を変えたときも、意味的な根拠づけは持ちこたえるのか。

上乗せされる計算コストは、性能向上に見合っているのか。この答えによって、これが有望な研究の方向なのか、それとも実際に使える道具なのかが分かれる。

船のデータを扱っている人がいたら、記録の中から予想外の動きをした航海を1つ選んでみてほしい。

船の種類や意図をどれだけしっかり踏まえたモデルであっても、最初に手に入る情報だけから、その方向転換を予測できただろうか。自分に問いかけてみる価値があるはずだ。

図5：M3-Formerの共有表現空間 - 静的属性と動的モーションの統合アーキテクチャ

表1：船舶タイプ別の特性と行動パターン比較