幾何学的深層学習 | Tags

AI・機械学習

2026年4月28日 09:55

Abstract visualization of three mathematical concepts—transformer attention, diffusion maps, and magnetic Laplacians—converging into a single unified geometric structure represented by a glowing manifold with flowing gradients and interconnected patterns

ディフュージョンとアテンションの接続

ディフュージョンとアテンションの接続トランスフォーマーとディフュージョンの背後にある統一的な幾何学トランスフォーマー、ディフュージョンマップ、磁気ラプラシアンは、従来、異なる数学的対象として、独立した理論的基礎を持つものとして扱われてきました。しかし最近の理論的研究——特に最適輸送と幾何学的深層学習の領域で——これらが共通の基礎構造から生じることを示唆しています。その構造とは、ソフトマックス前のクエリ・キースコアから構成されたマルコフ幾何学です。この接...

#深層学習 #Transformer #注意機構

AI・機械学習

2026年4月3日 15:07

Abstract 3D visualization of rotating geometric structures and spiral patterns in blue and purple, representing rotational positional embeddings in high-dimensional space

フレイドRoPEと長入力：幾何学的視点

フレイドRoPEと長入力：幾何学的視点回転の幾何学：RoPEが位置をエンコードする仕組み回転位置埋め込み（RoPE）は、高次元空間のトークン表現に回転行列を適用することで動作します。回転角は位置インデックスに比例します（Su et al., 2021）。形式的には、位置mにあるトークンについて、次元ペア（2i, 2i+1）は角度θi·mだけ回転します。ここでθi = 10,000^(-2i/d)であり、dはモデルの次元です。この構成により、トークン...

#大規模言語モデル #トランスフォーマーアーキテクチャ #位置エンコーディング

Autognosis

#幾何学的深層学習

ディフュージョンとアテンションの接続

フレイドRoPEと長入力：幾何学的視点