Tag
従来のAIモニタリングアーキテクチャは評価ロジックをモノリシックなデプロイメントに統合しており、スケーリングのボトルネックと統計手法間の密結合を生み出しています。クラウドネイティブ評価即応サービス（EaaS）は評価を6つの独立したKubernetesマイクロサービスに分離し、それぞれが異なる関心事をカプセル化しています。適合予測、キャリブレーション評価、ドリフト検出、公平性モニタリング、ワークフロー調整、結果永続化です。
Airbnbは数万個のポッドで構成されるKubernetesインフラを運用している。分単位、時には秒単位で動的な構成更新が必要になる規模だ。この規模になると、従来の構成配信の仕組みでは限界が見えてくる。Goで作られた元のSitar-agentは、サービスメッシュが拡大するにつれて信頼性が落ちていった。ポッドが最新の構成にアクセスできないと、そこから依存サービス全体へ障害が伝播する。
Kubernetes環境におけるJavaアプリケーションは、従来のAPMツールでは頻繁に分離できない独特のパフォーマンス課題に直面します。例えば、メモリ圧力はコンテナ内ではベアメタル上とは異なる形で現れます。Podのメモリ制限は、メモリ不足による終了をトリガーする厳格な境界を強制しますが、根本原因である非効率なオブジェクト割り当てや保持された参照は、深いヒープ分析なしでは不透明なままです。
SGLangは、UC BerkeleyのIon Stoica研究室から生まれたオープンソース研究プロジェクトとして始まり、大規模言語モデル(LLM)推論サービングにおける文書化された非効率性に対処するために設計されました。このプロジェクトは、本番推論システムにおける2つの確立された制約を特に対象としていました:(1)異種リクエストパターン下でのレイテンシの変動、(2)可変プロンプト長と出力トークン要件を持つ同時リクエストをサービングする際の最適でないGPU利用率。
日本の通信セクターは、実験的なクラウドネイティブ展開から大規模な本番運用へと移行した。主要キャリア(NTTドコモ、KDDI、ソフトバンク、楽天モバイル)は現在、コンテナ化されたネットワーク機能、Kubernetesオーケストレーション、マイクロサービスアーキテクチャを本番環境で稼働させている。