自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/9/20
Tag
非埋め込み行列（アンエンベディング行列）を通じたモデル不確実性の窓 大規模言語モデルは、内部表現を語彙トークンに対する確率分布に変換する非埋め込み行列を通じてトークン予測を生成します。この行列は隠れ状態をロジット空間にマッピングする学習済みの線形変換です。最近の実証研究（Anthropicの機械的解釈可能性研究、Elhage et al., 2021）は、この行列が単純なトークンマッピング以上の幾何学的構造をエンコードしていることを明らかにしています。具体的には、...
L-FNO: ロレンツ型フーリエニューラルオペレータ確率事象ダイナミクス向け 運用システムにおける不確実性：通常の仮定を超えて 現代の運用システムは、期待される条件から根本的に逸脱する障害モードに直面しています。サプライチェーンは需要ショックを経験し、金融市場はボラティリティクラスタリングを示し、インフラネットワークはカスケード障害を呈します。これらの現象は二つの異なる源から生じます。外生的共変量（市場シグナル、気象パターン、政策変化）と内生的ダイナミクス（...
バングラデシュ市場価格データセットを用いた農業商品価格予測における古典的機械学習モデルと深層学習モデルのベンチマーク 問題：断片化されたデータと手動予測 発展途上経済における農業商品価格は、歴史的に手動観察と季節的ヒューリスティクスを通じて予測されてきました。バングラデシュの小規模農家と食糧安全保障計画者は、信頼できる定量的モデルなしで運用されており、不完全な市場報告書と遅延した政府公報に依存していました。この運用上の制約により、意思決定者は価格ショックに...
破砕媒質シミュレーションにおける不均質性問題 破砕媒質シミュレーションにおける不均質性問題 破砕結晶質岩における地下水流動は、根本的な緊張関係を示します。亀裂は無視できない極端な空間不均質性を生み出しますが、それを完全に捉えるには法外な計算コストが必要です。三次元離散亀裂マトリックス（DFM）システムでは、透水係数がスケール全体で桁違いに変化します。亀裂は通常、周囲の岩石よりも10～100倍透水性が高く、不規則でまばらな幾何学を持ちます。微細スケールシミュ...
品質か量か？マルチエージェントシステムにおけるガウス過程を用いた誤差情報に基づく選択的オンライン学習：拡張版 コンセンサスよりも協調：分散システムにおいて選択的学習が重要な理由 主張： 効果的な分散学習には、エージェントが包括的にではなく選択的に協調することが必要である。隣接するすべてのモデルを無差別に集約すると、予測精度が低下し、対応するパフォーマンス向上なしに計算リソースの消費が増加する。 根拠と前提： マルチエージェントシステムは従来...