自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/7/28
Tag
テンポラルグラフネットワークのメモリバックトラッキングとトポロジカルアトリビューションを通じた説明可能性へ向けて テンポラルグラフネットワークにおける不透明性の問題 テンポラルグラフネットワーク（TGN）は、不正検知、推薦システム、ソーシャルネットワーク分析といったアプリケーションで、動的な関係データをモデル化するために広く導入されています。固定されたトポロジーで動作する静的グラフニューラルネットワークとは異なり、TGNは新しいイベントが発生するたびにノー...
トランスフォーマーアテンションにおける実行制御の欠陥 アテンションメカニズムにおける実行制御のギャップ トランスフォーマーのアテンションメカニズムは、人間の認知を区別する重要な能力を欠いています。それが実行制御です。ここでは実行制御を、訓練データから学習した統計的パターンのみに依存するのではなく、タスク目標と文脈的要求に基づいて戦略的に情報フローを調整する能力として定義します。人間の認知は、トップダウンの制御プロセスを採用し、タスク無関連な情報を抑制し、目...
マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定 マスクシーケンスモデルにおける隠れた依存性の問題 マスク離散シーケンスモデル—タンパク質構造予測（AlphaFold2、OmegaFold）、コード生成（CodeBERT、GraphCodeBERT）、自然言語処理（BERT、RoBERTa）に展開されているものを含む—は条件付き独立性の仮定の下で動作します。これらのモデルはマスクされたトークンを可視コンテキストに条件付けて予測します。形...
思考のスペクトル幾何学：位相転移、命令反転、トークンレベルダイナミクス、およびトランスフォーマーの推論における完全な正確性予測 スペクトル位相転移：推論の隠れた幾何学 論題： 大規模言語モデルは、隠れた活性化空間におけるスペクトル位相転移を示し、これが推論タスクと事実想起タスクと相関している。これらの転移は実装ダイナミクスにおいてアーキテクチャ固有であるが、モデルファミリー全体で一貫した方向性パターンを示す。生成中に測定されたスペクトル署名は、最終ト...
思考の幾何学：トロピカル多項式回路としてのTransformerの開示 トロピカル幾何学が自己注意機構をMax-Plus代数として明らかにする 主張： Transformerの自己注意機構は、高信頼条件下においてmax-plus代数（トロピカル半環）として動作し、これはsoftmax関数における逆温度パラメータβを通じて形式化できる。 前提条件と定義： - Softmax注意機構は次のように定義される：α(i,j) = exp(β·s(i,...