自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/7/28
Tag
4エキスパート異質型Mixture-of-Expertsの自動パイプライン探索による体系的検証 畳み込みゲーティングとエキスパートルーティング ゲーティングネットワークは、入力サンプルが4つの異質なエキスパート間で計算負荷をどのように分配するかを決定する重要な制御メカニズムとして機能します。この実装は、ルーティング決定に畳み込み層を採用し、空間特徴抽出を活用して各入力サンプルにどのエキスパートタイプが適切かを識別します。温度スケーリングはルーティングの鋭さ...
トランスフォーマーは3つのプロジェクションを必要とするのか。QKVバリアントの体系的研究 標準的な3プロジェクション構造の再検討 トランスフォーマーのクエリ・キー・バリュー（QKV）プロジェクション機構は、Vaswani et al.（2017）が「Attention Is All You Need」を発表して以来、ほぼ疑問の余地なく受け入れられてきました。標準的なアーキテクチャは、スケーリングされたドット積アテンション計算の前に、入力埋め込みを変換するため...
強化学習を用いた逆構造設計とキリガミプロトタイプの高速レーザーカッティング キリガミメタマテリアルにおける逆設計の課題 キリガミメタマテリアルは、体系的な切断と折り畳み操作を通じて作成された平面構造であり、三次元構成へと展開します。逆設計問題は形式的に次のように定義されます。目標となる三次元形状 S_target が与えられたとき、P の展開と F が S_target に近似する幾何学を指定された許容範囲内で生成するような二次元切断パターン...
スパースグッドネス：選択的測定がフォワード・フォワード学習をいかに変革するか グッドネス関数のボトルネック フォワード・フォワード（FF）学習は、層ごとのローカル学習ルールを実装することで、逆伝播に対する生物学的に妥当な代替案を提案しています。各層はグッドネス関数（正例データと負例データを区別するスカラーメトリクス）を採用し、グローバルなエラー信号なしでの訓練を可能にしています（Hinton, 2022）。この設計上の選択は、標準的なディープラーニングから...
MoEの計算効率を重みとデータのスパース性の組み合わせで改善する 重みのスパース性:基盤 Mixture-of-Experts(MoE)アーキテクチャは、すべてのモデルパラメータを活性化するのではなく、各トークンを学習されたエキスパートのサブセットにルーティングすることで、順伝播あたりの計算コストを削減します。この重みのスパース性メカニズムが、MoEシステムにおける主要な効率向上を構成します。形式的には、モデルが合計E個のエキスパートを含み、各トークンが...