ニュースから、自分の思い込みに気づく

テクノロジーと社会のニュースを、やさしい言葉で解きほぐすメディア。読み終えたとき、自分の見方が少し変わる記事を届けます。

Tag

#メモリ効率化

AI・機械学習

2026年3月6日 07:46

Abstract visualization of a large neural network with flowing data being compressed and distilled into a compact glowing geometric form, representing the concept of context compilation in large language models

Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する

現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、最近のアーキテクチャでは線形近似が存在します（Dao et al., 2022）。これにより、運用上の深刻な緊張が生まれます。

#大規模言語モデル #MLインフラ #パラメータ効率的ファインチューニング

--

Share

続きを読む

AI・機械学習

2026年1月25日 01:02

A technical visualization showing a neural network transitioning from a dense, memory-heavy structure on the left to a streamlined, efficient structure on the right, with flowing data particles between them, representing memory optimization in AI model training

AdaFRUGAL: 動的制御による適応的メモリ効率訓練

大規模言語モデルの訓練には、GPUメモリに大きなオーバーヘッドが発生し、オプティマイザの状態が総割り当ての50〜70%を消費する(Shazeer et al., 2018; Rajbhandari et al., 2020)。float32精度でAdamオプティマイザを使用して訓練される70億パラメータモデルの場合、モデルの重みは約14GBを占め、オプティマイザのモーメンタムと分散バッファは精度と実装に応じて追加で14〜28GBを占める。

#大規模言語モデル #MLインフラ #最適化アルゴリズム

--

Share

続きを読む

AI・機械学習

2026年1月15日 22:03

A technical visualization depicting neural network compression, showing a dense network of glowing blue nodes transforming into a sparse, efficient structure with fewer green nodes, illustrating the concept of hierarchical sparse plus low-rank compression in large language models

LLMの階層的スパース+低ランク圧縮

大規模言語モデルは現在、法外な量のメモリと計算資源を消費しており、実用的な展開と継続的な訓練のために圧縮は交渉の余地のない要件となっている。前提条件と仮定:証拠: FP32での700億パラメータモデルは約280GBのメモリを必要とする(700億パラメータ × 4バイト/パラメータ)。

#大規模言語モデル #モデル圧縮 #スパース性

--

Share

続きを読む