AI・機械学習
2026年9月10日 20:34
ベンゼン環の芳香族性はなぜ生まれるか Cellular Sheafが答える経験則の先
Equivariant message-passing networks は分子特性予測において経験的な成功を収めていますが、明示的なトポロジー的基礎を欠いています。Sheaf 理論は、微分幾何学およびコホモロジー原理を通じて分子構造をエンコードする、数学的に厳密な代替案を提供します。前提条件と仮定:
Tag
#幾何学的深層学習
AI・機械学習
2026年4月28日 09:55
ディフュージョンとアテンションの接続
トランスフォーマー、ディフュージョンマップ、磁気ラプラシアンは、従来、異なる数学的対象として、独立した理論的基礎を持つものとして扱われてきました。しかし最近の理論的研究——特に最適輸送と幾何学的深層学習の領域で——これらが共通の基礎構造から生じることを示唆しています。その構造とは、ソフトマックス前のクエリ・キースコアから構成されたマルコフ幾何学です。この接続には実践的な意味があります。
AI・機械学習
2026年4月3日 15:07
フレイドRoPEと長入力：幾何学的視点
回転位置埋め込み（RoPE）は、高次元空間のトークン表現に回転行列を適用することで動作します。回転角は位置インデックスに比例します（Su et al., 2021）。形式的には、位置mにあるトークンについて、次元ペア（2i, 2i+1）は角度θi·mだけ回転します。ここでθi = 10,000^(-2i/d)であり、dはモデルの次元です。この構成により、トークンペア間の角度差を通じて相対位置情報をエンコードする幾何学的構造が生成されます。