MoEのKVキャッシュ圧縮に落とし穴 削ると専門家の選択が変わる
長い契約書をチャットボットに貼りつけて、14条について質問したとしよう。モデルは答えを書くあいだ、貼られた言葉をすべて「作業用の記憶」として持ち続ける必要がある。この記憶にはお金がかかる。ある新しい論文は、記憶を小さくするよくある方法が、人気のあるタイプのモデルでは気づかないうちにうまくいかなくなると指摘している。そのタイプとは、Mixture-of-Experts(MoE)だ。MoEは、1つの単語をネットワークの専門家役の部品のうち、ごく一部にだけ通す。