Tag

#モデルアーキテクチャ

2026年7月9日 17:58

A technical visualization of a looped neural network architecture showing a central hidden state sphere with multiple pathways - one bright path leading to a readout layer and dimmer paths looping back, illustrating gradient flow asymmetry in recurrent language models

ロープド言語モデルにおける読み出し盲点：密な教師信号では不十分

ロープド言語モデル（隠れ状態ベクトルが反復を通じて保持され、各ステップで復号化されてから後続の計算に再入力されるアーキテクチャ）は、根本的な教師信号の非対称性をもたらします。標準的な交差エントロピー損失は読み出し層の出力（各タイムステップでの復号化されたトークン予測）のみに作用しますが、再帰的な状態遷移は完全な隠れ状態ベクトルに依存しています。ここで重要な区別が生じます。

#大規模言語モデル #深層学習 #自然言語処理

AI・機械学習

2026年1月28日 01:02

Split visualization comparing complex tangled network of blue connections representing quadratic computational complexity against streamlined parallel green lines representing efficient linear processing, with flowing data particles on dark technical background

RewriteNets: 生成的系列モデリングのためのエンドツーエンド訓練可能な文字列書き換え

Transformerベースのアーキテクチャは生成的系列モデリングの支配的なパラダイムとなっているが、十分に文書化された計算上の制限を示している:系列長における二次複雑性(O(n²))である。この複雑性は、注意機構がすべてのトークン位置間のペアワイズ類似度スコアを計算する必要があることから生じる。長さnの系列に対して、各注意ヘッドは層ごとにn²回の演算を実行しなければならない。

#深層学習 #自然言語処理 #大規模言語モデル