事前学習 | Tags | Autognosis

2026年9月17日 14:38

Abstract visualization of interconnected graph neural networks with misaligned structures, showing fragmented connections between nodes in blue and purple tones against a dark gradient background, representing challenges in multi-task graph pre-training

タスク固有プロンプトとグローバルコンテキストを用いたマルチタスクグラフ事前学習

マルチタスクグラフ事前学習フレームワークは、根本的な構造的不整合に直面しています。ランダムに初期化されたプロンプトは、事前学習された知識を下流タスクに効果的に転移させるために必要な帰納的バイアスを欠いています。この不整合は、それぞれが文書化された結果をもたらす3つの異なる失敗モードを通じて現れます。第一に、弱いタスク関連性が生じるのは、プロンプトがタスク目的への明示的な整合性を持たない制約のないパラメータとして機能するときです。

#グラフニューラルネットワーク #プロンプト学習 #マルチタスク学習

AI・機械学習

2026年8月28日 11:08

Technical visualization of a neural network architecture showing locality-aware attention patterns with dense local connections in the foreground and a separate organized knowledge memory structure in the background, rendered in blue and purple tones with glowing cyan accents

現代的言語モデルアーキテクチャにおける効率性のパラドックス

標準的なトランスフォーマーアーキテクチャは、局所性構造を明示的にエンコードせず、知識表現と計算ルーティングを混同することで、計算上の非効率性を招いています。大規模言語モデルは実質的な能力向上を示していますが、その基礎的な設計は、モデルがトークン列を大規模に処理して言語能力を発展させるプリトレーニング段階において、体系的な非効率性を示しています。この非効率性は、能力向上の単位あたりの計算コストを検証する際に定量化可能になります。非効率性は2つの異なるメカニズムを通じて現れます。

#大規模言語モデル #トランスフォーマーアーキテクチャ #注意機構

#事前学習

タスク固有プロンプトとグローバルコンテキストを用いたマルチタスクグラフ事前学習

現代的言語モデルアーキテクチャにおける効率性のパラドックス