計算効率 | Tags | Autognosis

AI・機械学習

2026年4月30日 14:59

Abstract visualization of neural network layers showing selective neuron activation patterns, with some nodes brightly illuminated in golden yellow against a blue background, representing sparse measurement in Forward-Forward learning architecture

スパースグッドネス：選択的測定がフォワード・フォワード学習をいかに変革するか

スパースグッドネス：選択的測定がフォワード・フォワード学習をいかに変革するかグッドネス関数のボトルネックフォワード・フォワード（FF）学習は、層ごとのローカル学習ルールを実装することで、逆伝播に対する生物学的に妥当な代替案を提案しています。各層はグッドネス関数（正例データと負例データを区別するスカラーメトリクス）を採用し、グローバルなエラー信号なしでの訓練を可能にしています（Hinton, 2022）。この設計上の選択は、標準的なディープラーニングから...

#深層学習 #機械学習 #最適化アルゴリズム

AI・機械学習

2026年1月31日 19:02

Technical illustration of a Mixture-of-Experts neural network architecture showing selective routing pathways, with illuminated active expert nodes connected by glowing data streams against a dark computational grid background

MoEの計算効率を重みとデータのスパース性の組み合わせで改善する

MoEの計算効率を重みとデータのスパース性の組み合わせで改善する重みのスパース性:基盤 Mixture-of-Experts(MoE)アーキテクチャは、すべてのモデルパラメータを活性化するのではなく、各トークンを学習されたエキスパートのサブセットにルーティングすることで、順伝播あたりの計算コストを削減します。この重みのスパース性メカニズムが、MoEシステムにおける主要な効率向上を構成します。形式的には、モデルが合計E個のエキスパートを含み、各トークンが...

#大規模言語モデル #機械学習 #深層学習

#計算効率

スパースグッドネス：選択的測定がフォワード・フォワード学習をいかに変革するか

MoEの計算効率を重みとデータのスパース性の組み合わせで改善する