自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/7/28
Tag
ガウス混合注意機構：確率的潜在ルーティングによる線形時間シーケンス混合 ボトルネック：スケール時の密集注意機構 標準的なTransformer注意機構は、すべてのクエリとキー間のペアワイズ類似度スコアを計算するため、長さNのシーケンスに対してO(N²)の演算とO(N²)のメモリが必要です。32,768トークンのシーケンスでは、10.7億要素の注意行列が生成されます。この二次複雑性は、本番システムにおいて2つの異なる障害モードを引き起こします。 1. メ...
BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" Deep Learningにおけるメモリの壁：制約から機会へ ニューラルネットワークの訓練は根本的なアーキテクチャ制約に直面しています。逆伝播のための活性化を保存するには、O(L × B × N)に比例するメモリが必要です。ここでLはネットワーク深度、Bはシーケンス・バッチの基数、Nは...
リアルタイム閾値：Heliosが実現するもの Heliosは再生速度以上の速度で一貫性のあるビデオシーケンスを生成することでリアルタイムビデオ生成を実現し、先行する生成型ビデオモデルに内在する後処理の遅延を排除しています。 これは動作レジームの根本的な転換を示しています。従来のシステムは二つの制約のいずれかで動作していました。短いクリップ（5～30秒）をサブリアルタイム速度で生成するか（計算時間が出力時間を超える）、または生成出力1分あたり数時間のオフライ...
スペクトル生成フローモデル:ベクトル化された大規模言語モデルに代わる物理学に着想を得た手法 トークンからフィールドへ:物理学に基づく代替手法 スペクトル生成フローモデル(SGFM)は、逐次情報の表現と処理方法において、トランスフォーマーアーキテクチャからの構造的な転換を表しています。言語をトークン列に離散化してグローバルアテンション機構を適用するのではなく、SGFMはテキスト生成をウェーブレット基底における確率微分方程式によって支配されるフィールドの連続的な...