モデル解釈性 | Tags

AI・機械学習

2026年5月5日 13:18

Abstract visualization of neural network activation spaces showing spectral phase transitions, with geometric patterns transitioning from structured crystalline forms to fluid waves, rendered in gradients from cool blues to warm oranges against a dark background

思考のスペクトル幾何学：位相転移、命令反転、トークンレベルダイナミクス、およびトランスフォーマーの推論における完全な正確性予測

思考のスペクトル幾何学：位相転移、命令反転、トークンレベルダイナミクス、およびトランスフォーマーの推論における完全な正確性予測スペクトル位相転移：推論の隠れた幾何学論題：大規模言語モデルは、隠れた活性化空間におけるスペクトル位相転移を示し、これが推論タスクと事実想起タスクと相関している。これらの転移は実装ダイナミクスにおいてアーキテクチャ固有であるが、モデルファミリー全体で一貫した方向性パターンを示す。生成中に測定されたスペクトル署名は、最終ト...

#大規模言語モデル #トランスフォーマー #説明可能なAI

AI・機械学習

2026年1月20日 01:03

Abstract visualization showing the transformation from smooth softmax attention curves into sharp geometric tropical algebra structures, representing the mathematical convergence of transformer neural networks under high-confidence conditions

思考の幾何学：トロピカル多項式回路としてのTransformerの開示

思考の幾何学：トロピカル多項式回路としてのTransformerの開示トロピカル幾何学が自己注意機構をMax-Plus代数として明らかにする主張： Transformerの自己注意機構は、高信頼条件下においてmax-plus代数（トロピカル半環）として動作し、これはsoftmax関数における逆温度パラメータβを通じて形式化できる。前提条件と定義： - Softmax注意機構は次のように定義される：α(i,j) = exp(β·s(i,...

#深層学習 #説明可能なAI #自然言語処理

Autognosis

#モデル解釈性

思考のスペクトル幾何学：位相転移、命令反転、トークンレベルダイナミクス、およびトランスフォーマーの推論における完全な正確性予測

思考の幾何学：トロピカル多項式回路としてのTransformerの開示