自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/9/20
Tag
適応的確率量子化：現代的MLのための不偏圧縮 適応的確率量子化（ASQ）は、量子化操作の扱い方において決定論的量子化手法と根本的に異なる確率的圧縮技術です。決定論的手法が浮動小数点値を固定された離散レベルにマッピングするのに対し、ASQは隣接する量子化レベル上の確率分布を割り当てます。その結果、量子化出力の期待値が元の入力値と等しくなります。これは形式的には期待値における不偏性（Bengio et al., 2013; Zhou et al., 2016）として定...
マーク・ザッカーバーグの5年AI エージェント予測：批判的評価 インフラストラクチャへの賭け：前例のない規模での資本要件 数十億ユーザーへのAIエージェント展開には、過去のテクノロジーロールアウトを遥かに上回るインフラ投資が必要です。AIシステムのスケーリングに必要な資本要件は、基礎インフラだけで2,500億ドル近くに達します。メタの年間データセンター・AIチップ支出は既に数百億ドルに及び、加速が予想されています。 数十億ユーザーの継続的推論を考慮すると...
フロンティアモデルの品質を維持しながら、コストを半減させる小規模モデルの蒸留と運用 モデルデプロイメントの経済学：フロンティアモデルが本番環境で持続不可能である理由 GPT-4やClaude 3 Opusといったフロンティアモデルは優れた推論能力を示していますが、本番環境での規模展開において経済的に成立しないコスト構造を強制します。エージェントシステムをデプロイする組織は根本的な制約に直面しています。これらのモデルは複雑な推論タスクで例外的なパフォーマンス...
マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定 マスクシーケンスモデルにおける隠れた依存性の問題 マスク離散シーケンスモデル—タンパク質構造予測（AlphaFold2、OmegaFold）、コード生成（CodeBERT、GraphCodeBERT）、自然言語処理（BERT、RoBERTa）に展開されているものを含む—は条件付き独立性の仮定の下で動作します。これらのモデルはマスクされたトークンを可視コンテキストに条件付けて予測します。形...
クラウドは見た目より近い：分散リアルタイム推論のトレードオフを再考する サイバーフィジカルシステムにおける知覚とレイテンシの相互作用 深層ニューラルネットワークは自動運転車、産業用ロボット、スマートインフラストラクチャの知覚を駆動しています。精度の向上はリアルタイム意思決定を改善しますが、エッジデバイスがハード期限内に提供することが難しい計算リソースを要求します。従来の通説—ネットワークレイテンシを最小化するため推論をエッジにプッシュする—は、インフラストラ...
WorkflowGen: 軌跡経験に駆動されるアダプティブワークフロー生成メカニズム 記憶なき推論のコスト 大規模言語モデル（LLM）エージェントは根本的なアーキテクチャ上の非効率性を示しています。先行する実行履歴に関わらず、各タスクに対して初期状態からの推論を実行するのです。このステートレス設計は、以前に構造的に同一のタスクが完了していても、すべてのクエリに対して計画、実行、エラー回復に完全なトークン消費を必要とします。 計算オーバーヘッドは二つの次元...
Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する 長いコンテキスト展開のボトルネック 現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、...
AWS、NVIDIA RTX PRO 6000 Blackwell Server Edition GPUで加速したAmazon EC2 G7eインスタンスを発表 パフォーマンス向上とビジネスインパクト G7eインスタンスは大規模言語モデルとコンピュータビジョンアプリケーションの推論時間を大幅に短縮する。Blackwellアーキテクチャはメモリ帯域幅とコンピュート密度を増加させ、アーキテクチャの再設計を必要とせずにトークン生成とフレーム処理を高速化する。推論...
量子化を実用的なデプロイメントの手段として 量子化は、重みパラメータの数値精度を元の表現—通常は32ビット浮動小数点(FP32)または16ビット(FP16)—から、8ビット整数(INT8)、4ビット、または2ビット表現などのより低精度のフォーマットに削減するモデル圧縮技術です。理論的基盤は、ニューラルネットワークの重みが大きな冗長性を示すという経験的観察に基づいています。多くのパラメータは、モデル能力の比例的な損失なしに、削減された精度で表現できます(Gholam...
推論スタートアップInferactがvLLMの商用化に向けて1億5000万ドルを調達 8億ドルの評価額と市場ポジショニング Inferactの1億5000万ドルのシードラウンドは、事後評価額8億ドルで実施され、特定の市場条件を前提としたvLLMの商業的実行可能性に対する投資家の信頼を反映している。この評価額は精査に値する:企業による採用の成功、持続的な競争優位性、予測可能な収益拡大を前提としている。 基本的な主張: この評価額は、vLLMが本番環境...
SGLangの研究から商用推論プラットフォームへの移行 SGLangは、UC BerkeleyのIon Stoica研究室から生まれたオープンソース研究プロジェクトとして始まり、大規模言語モデル(LLM)推論サービングにおける文書化された非効率性に対処するために設計されました。このプロジェクトは、本番推論システムにおける2つの確立された制約を特に対象としていました:(1)異種リクエストパターン下でのレイテンシの変動、(2)可変プロンプト長と出力トークン要件を持つ同...
LLMの階層的スパース+低ランク圧縮 現代のLLMにおけるメモリ危機 主張: 大規模言語モデルは現在、法外な量のメモリと計算資源を消費しており、実用的な展開と継続的な訓練のために圧縮は交渉の余地のない要件となっている。 前提条件と仮定: - モデルは事前量子化なしで完全精度(FP32)または半精度(FP16)で保存されている。 - 展開対象には、リソース制約のある環境(エッジデバイス、小規模クラスタ)またはコスト重視の推論シナリオが含まれる...