Tag
Disaggregated LLM inference—prefill と decode の操作が別々の GPU プール上で実行されるアーキテクチャパターン—は、ある制約を別の制約と交換します。アーキテクチャ上の利点は明確です。prefill GPU はスループットとバッチサイズに最適化され、decode GPU はレイテンシを優先します。この分離は、標準的なデータセンターインフラストラクチャが対応するよう設計されていないデータ移動の問題をもたらします。
アテンション機構に対するサブクワドラティック代替案は提案されていますが、多次元データへの適用は理論的にも実践的にも制約されたままです。この制約は根本的なアーキテクチャの不整合から生じています。標準的な畳み込みは空間的局所性を保持しますがグローバルコンテキストを犠牲にします。再帰的アプローチはシーケンシャル処理を通じてグローバルな受容性を達成しますが、破壊的な次元削減（ラスタライゼーション）を必要とします。
SGLangは、UC BerkeleyのIon Stoica研究室から生まれたオープンソース研究プロジェクトとして始まり、大規模言語モデル(LLM)推論サービングにおける文書化された非効率性に対処するために設計されました。このプロジェクトは、本番推論システムにおける2つの確立された制約を特に対象としていました:(1)異種リクエストパターン下でのレイテンシの変動、(2)可変プロンプト長と出力トークン要件を持つ同時リクエストをサービングする際の最適でないGPU利用率。