ニュースから、自分の思い込みに気づく

テクノロジーと社会のニュースを、やさしい言葉で解きほぐすメディア。読み終えたとき、自分の見方が少し変わる記事を届けます。

Tag

#計算効率化

AI・機械学習
2026年7月2日 11:34
Abstract visualization of efficient attention mechanism showing data streams being routed through clusters, representing the transformation from quadratic to linear computational complexity in transformer models

ガウス混合注意機構:確率的潜在ルーティングによる線形時間シーケンス混合

標準的なTransformer注意機構は、すべてのクエリとキー間のペアワイズ類似度スコアを計算するため、長さNのシーケンスに対してO(N²)の演算とO(N²)のメモリが必要です。32,768トークンのシーケンスでは、10.7億要素の注意行列が生成されます。この二次複雑性は、本番システムにおいて2つの異なる障害モードを引き起こします。実務家は現在、3つの最適でない戦略でこれに対処しています。

-- いいね数
続きを読む
AI・機械学習
2026年5月5日 16:18
Split visualization comparing memory-intensive neural network training with dense activation layers on the left versus optimized training with compressed activation sketching on the right, rendered in blue and purple gradients against a dark background

BASIS登場、深層学習の活性化メモリを最大10倍削減する新手法

ニューラルネットワークの訓練は根本的なアーキテクチャ制約に直面しています。逆伝播のための活性化を保存するには、O(L × B × N)に比例するメモリが必要です。ここでLはネットワーク深度、Bはシーケンス・バッチの基数、Nは特徴次元です。この線形スケーリングは、いわば強制関数を生み出します。制約そのものが、優雅に解決されれば、まったく新しいモデルクラスと訓練パラダイムを解き放つ強制関数です。

#深層学習 #バックプロパゲーション #勾配計算
-- いいね数
続きを読む
AI・機械学習
2026年3月23日 11:26
Abstract visualization of real-time video generation showing flowing luminous video frames cascading seamlessly with light trails and digital elements, representing instantaneous video processing technology

リアルタイム閾値:Heliosが実現するもの

Heliosは再生速度以上の速度で一貫性のあるビデオシーケンスを生成することでリアルタイムビデオ生成を実現し、先行する生成型ビデオモデルに内在する後処理の遅延を排除しています。これは動作レジームの根本的な転換を示しています。従来のシステムは二つの制約のいずれかで動作していました。短いクリップ(5~30秒)をサブリアルタイム速度で生成するか(計算時間が出力時間を超える)、または生成出力1分あたり数時間のオフライン処理を必要とするかのいずれかです。

-- いいね数
続きを読む
AI・機械学習
2026年1月19日 01:03
Abstract visualization contrasting discrete transformer architecture with grid-like nodes and connections on the left, transitioning to smooth continuous wave patterns representing spectral flow models on the right, set against a dark background with blue and cyan gradients

スペクトル生成フローモデル:ベクトル化された大規模言語モデルに代わる物理学に着想を得た手法

スペクトル生成フローモデル(SGFM)は、逐次情報の表現と処理方法において、トランスフォーマーアーキテクチャからの構造的な転換を表しています。言語をトークン列に離散化してグローバルアテンション機構を適用するのではなく、SGFMはテキスト生成をウェーブレット基底における確率微分方程式によって支配されるフィールドの連続的な進化としてモデル化します。この再定式化により、計算モデルは離散的でグローバルに結合された演算から、連続的で局所的に結合されたダイナミクスへとシフトします。

-- いいね数
続きを読む
TOPへ