Tag

#トランスフォーマーアーキテクチャ

AI・機械学習

2026年8月15日 10:32

Split visualization comparing traditional semiconductor thermal simulation taking 8 hours on the left with AI transformer-based surrogate model completing the same analysis in milliseconds on the right, connected by flowing data streams

前置き

前置きトランスフォーマー代理モデルがエンジニアリング設計に進出—しかしスケール不整合がそれらを破壊しますトランスフォーマーベースの代理モデルは、半導体設計ワークフローにおいて高コストの第一原理シミュレーションを置き換えています。かつて有限要素法の計算に8時間を要した熱解析が、学習済みモデルを通じてミリ秒単位で実行されます。このスピード向上は実質的なものですが、モデルが訓練データを超えて一般化する場合に限られます。採用パターンは一貫しています。チーム...

#深層学習 #トランスフォーマーアーキテクチャ #モデル最適化

AI・機械学習

2026年4月3日 15:07

Abstract 3D visualization of rotating geometric structures and spiral patterns in blue and purple, representing rotational positional embeddings in high-dimensional space

フレイドRoPEと長入力：幾何学的視点

フレイドRoPEと長入力：幾何学的視点回転の幾何学：RoPEが位置をエンコードする仕組み回転位置埋め込み（RoPE）は、高次元空間のトークン表現に回転行列を適用することで動作します。回転角は位置インデックスに比例します（Su et al., 2021）。形式的には、位置mにあるトークンについて、次元ペア（2i, 2i+1）は角度θi·mだけ回転します。ここでθi = 10,000^(-2i/d)であり、dはモデルの次元です。この構成により、トークン...

#大規模言語モデル #トランスフォーマーアーキテクチャ #位置エンコーディング