自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/9/20
Tag
非埋め込み行列（アンエンベディング行列）を通じたモデル不確実性の窓 大規模言語モデルは、内部表現を語彙トークンに対する確率分布に変換する非埋め込み行列を通じてトークン予測を生成します。この行列は隠れ状態をロジット空間にマッピングする学習済みの線形変換です。最近の実証研究（Anthropicの機械的解釈可能性研究、Elhage et al., 2021）は、この行列が単純なトークンマッピング以上の幾何学的構造をエンコードしていることを明らかにしています。具体的には、...
ブラックボックス最適化におけるサンプル効率の危機 ブラックボックス最適化は根本的な制約に直面しています。計算上の注意が最も必要とされる最適化問題—すなわち、大規模な探索空間、弱い構造的事前知識、高い次元性を特徴とする問題—は、まさに従来手法がサンプル効率の面で最も劣る領域です。ニューラルアーキテクチャサーチ、分子設計、ハードウェア構成最適化に取り組む実務家は、深刻なリソースボトルネックに直面します。各候補の評価には数時間から数日の計算時間を要するのに対し、探索空...
タスク固有プロンプトとグローバルコンテキストを用いたマルチタスクグラフ事前学習 マルチタスクグラフ事前学習における不整合問題 マルチタスクグラフ事前学習フレームワークは、根本的な構造的不整合に直面しています。ランダムに初期化されたプロンプトは、事前学習された知識を下流タスクに効果的に転移させるために必要な帰納的バイアスを欠いています。この不整合は、それぞれが文書化された結果をもたらす3つの異なる失敗モードを通じて現れます。 第一に、弱いタスク関連性*...
SLM条件付き階層的関係ルーティングによるラベル付きプロパティグラフ学習 プロパティグラフ学習における意味的ボトルネック 論題： グラフメッセージパッシングに統合された小規模言語モデル（SLM）は、関係の意味論に基づいて情報を動的にルーティングすることで、従来のグラフニューラルネットワークが異種エッジプロパティを静的特徴ではなくタスク依存的な意味信号として扱わないという根本的な制限に対処します。 ラベル付きプロパティグラフは、ノードとエッジの両方に...
Equivariant Message-Passing Networks vs. Sheaf-Theoretic Foundations 主張: Equivariant message-passing networks は分子特性予測において経験的な成功を収めていますが、明示的なトポロジー的基礎を欠いています。Sheaf 理論は、微分幾何学およびコホモロジー原理を通じて分子構造をエンコードする、数学的に厳密な代替案を提供します。 前提条件と仮定:...
適応的確率量子化：現代的MLのための不偏圧縮 適応的確率量子化（ASQ）は、量子化操作の扱い方において決定論的量子化手法と根本的に異なる確率的圧縮技術です。決定論的手法が浮動小数点値を固定された離散レベルにマッピングするのに対し、ASQは隣接する量子化レベル上の確率分布を割り当てます。その結果、量子化出力の期待値が元の入力値と等しくなります。これは形式的には期待値における不偏性（Bengio et al., 2013; Zhou et al., 2016）として定...
物理場シミュレーションにおけるトポロジー・ジオメトリ二重性問題 離散メッシュ上の物理シミュレーションは根本的な建築学的緊張に直面しています。保存則はジオメトリック変形に関わらず厳密に保たれなければならない一方で、材料特性と異方性応答はローカルメッシュ構造に応じて変動します。従来の数値手法はこの分離を慎重な離散化スキームを通じて維持しています。これに対してニューラルサロゲートは両者の関心事を区別されない伝播アーキテクチャに統合し、保存則を違反するか、またはジオメトリ...
L-FNO: ロレンツ型フーリエニューラルオペレータ確率事象ダイナミクス向け 運用システムにおける不確実性：通常の仮定を超えて 現代の運用システムは、期待される条件から根本的に逸脱する障害モードに直面しています。サプライチェーンは需要ショックを経験し、金融市場はボラティリティクラスタリングを示し、インフラネットワークはカスケード障害を呈します。これらの現象は二つの異なる源から生じます。外生的共変量（市場シグナル、気象パターン、政策変化）と内生的ダイナミクス（...
現代的言語モデルアーキテクチャにおける効率性のパラドックス 標準的なトランスフォーマーアーキテクチャは、局所性構造を明示的にエンコードせず、知識表現と計算ルーティングを混同することで、計算上の非効率性を招いています。 大規模言語モデルは実質的な能力向上を示していますが、その基礎的な設計は、モデルがトークン列を大規模に処理して言語能力を発展させるプリトレーニング段階において、体系的な非効率性を示しています。この非効率性は、能力向上の単位あたりの計算コストを...
トランスフォーマーを幾何学として捉える：層別表現進化がなぜ重要か トランスフォーマーは言語タスクとビジョンタスク全般で最先端の性能を達成していますが、その学習メカニズムは依然として完全には特性化されていません。解釈可能性研究の大多数は二つの異なるスケールで動作しています。微視的スケール（個別の注意ヘッド、特定のニューロン）と巨視的スケール（最終出力ロジット、集約損失関数）です。ここに重要な欠落が生じています。中視的スケール、つまり層スタック全体にわたる表現幾何学の...
MS-MLB: 血液ベースのMS分類に向けたオープン機械学習ベンチマーク 多発性硬化症の診断複雑性と血液バイオマーカー 多発性硬化症（MS）の診断は、神経学的検査、MRI所見、検査室検査、および代替診断の体系的除外を統合する必要がある多面的な臨床課題のままです。このプロセスはMcDonald基準（2017年改訂版）に形式化されています。この診断枠組みは、単一の病理学的特異的検査が存在しないことを反映しており、多層的画像検査と脳脊髄液分析を通じて確認される脱髄...
前置き 背景：IBMの鉄硫黄SQD結果とスピン状態の課題 鉄硫黄クラスタは生化学と触媒化学に遍在しています。それらの電子構造は、モデル化が極めて困難です。強い電子相関、狭いエネルギーウィンドウ内の複数のスピン状態、幾何学への感度を示します。古典的な密度汎関数理論（DFT）はしばしばスピン状態を誤順序付けするか、障壁を過大評価します。結合クラスタメソッドは大規模クラスタで遅く収束します。変分量子固有ソルバー（VQE）は、多電子相関を正確に表現するために必要な回...
一貫性対正確性：LLMが生成したORモデルが静かに失敗する理由 大規模言語モデル（LLM）をオペレーションズリサーチ（OR）タスクに導入する際、標準的な評価指標が体系的に見落とす失敗モードが存在します。モデルは構文的に有効な最適化定式化を生成し、局所的な妥当性基準を満たしながらも、グローバルな一貫性制約に違反する可能性があります。具体的には、LLMが生成した定式化には以下が含まれる可能性があります。 - 実行可能領域を空にする論理的に矛盾した制約 - 以前に定義...
深層強化学習における凍結ランダムCNN特徴抽出器での出現スパース性 従来のアプローチ：訓練可能な特徴抽出器 深層強化学習は、畳み込みニューラルネットワーク（CNN）が下流の制御ポリシーと共に特徴表現を学習するエンドツーエンド訓練アーキテクチャに大きく依存してきました。このパラダイムは、タスク関連の視覚特徴が教師あり勾配降下最適化を通じて習得されなければならず、過度な計算資源と過学習を軽減するための慎重な正則化が必要であるという仮定に基づいています（Mnih ...
DataPrep-Bench: LLMをトレーニングデータ準備者として評価する データ品質のパラドックス: ベンチマーク性能が現実世界の失敗を隠蔽する理由 トレーニングデータの品質は、大規模言語モデル(LLM)の能力を決定する主要因です(Kaplan et al., 2020; Hoffmann et al., 2022)。しかし現在、LLM自体がデータ準備タスクを確実に実行できるかどうかを評価するための標準化された測定フレームワークが業界に不足しています...
多次元アテンション問題 アテンション機構に対するサブクワドラティック代替案は提案されていますが、多次元データへの適用は理論的にも実践的にも制約されたままです。この制約は根本的なアーキテクチャの不整合から生じています。標準的な畳み込みは空間的局所性を保持しますがグローバルコンテキストを犠牲にします。再帰的アプローチはシーケンシャル処理を通じてグローバルな受容性を達成しますが、破壊的な次元削減（ラスタライゼーション）を必要とします。アテンション機構はグローバルな受容...
ポジション：説明可能性研究は恣意的手法よりも基礎に優先順位を置くべき 増殖と影響のパラドックス 説明可能AI研究は多数の技術を生み出してきました。特徴帰属法（LIME、SHAP）、顕著性マッピング、スパースオートエンコーダ、注意メカニズムの可視化などです。しかし、これらが実質的な意思決定に及ぼす影響についての経験的証拠は限定的です。組織の導入パターンから見ると、説明は主にコンプライアンス成果物として機能しています。規制要件や監査プロセスを満たすために生成され...
ナレッジグラフとグラフニューラルネットワークの融合：包括的サーベイ グラフニューラルネットワークがナレッジグラフシステムを再構築する理由 グラフニューラルネットワークがナレッジグラフ処理の支配的な計算パラダイムとして台頭した理由は、関係構造を二次的な特徴に還元するのではなく、計算の主要な基盤として保持するからです。この区別は根本的です。従来の埋め込みベースのアプローチ（TransE、DistMult、ComplExなど）は、エンティティと関係を固定ベクトル...
テンポラルグラフネットワークのメモリバックトラッキングとトポロジカルアトリビューションを通じた説明可能性へ向けて テンポラルグラフネットワークにおける不透明性の問題 テンポラルグラフネットワーク（TGN）は、不正検知、推薦システム、ソーシャルネットワーク分析といったアプリケーションで、動的な関係データをモデル化するために広く導入されています。固定されたトポロジーで動作する静的グラフニューラルネットワークとは異なり、TGNは新しいイベントが発生するたびにノー...
認知診断のための多層Q行列埋め込みニューラルネットワーク（M-QCDNet）：心理測定的解釈可能性のための構造認識型深層学習アーキテクチャ 教育用ニューラルネットワークにおける解釈可能性の危機 教育評価システムは、学生のスキル推定における予測性能を向上させるため、ニューラルネットワークの採用を急速に進めています。しかし、この採用は重大な信頼性ギャップを生み出しています。教育者と評価実践者は、モデルが特定の学生に対してなぜ特定のスキル欠陥を割り当てるのかを確...
表現層がメカニスティック解釈可能性のボトルネックとなる問題：マニフェステーション・ユニット・プロトコル インベントリ問題：豊かな分析、閉じ込められた出力 メカニスティック解釈可能性は実質的な経験的進展をもたらしています。研究者は特定の意味的特徴をエンコードするニューロンを特定する手法（Elhage et al., 2022）、注意ヘッドのルーティングパターンをマッピングする手法（Clark et al., 2019）、モデルの計算を解釈可能な回路に分解する手...
観測データからの解釈可能な発見 観測データから直接支配方程式を発見することは、従来の予測的機械学習とは異なる方法論的な転換を意味します。予測精度の最適化だけを目指すのではなく、方程式発見は物理系の動態を特徴づける偏微分方程式（PDE）の基礎構造を復元することを目指しています。この復元により科学的解釈が可能になります。つまり、システムがなぜそのように振る舞うのかを説明する能力が得られるのであり、単に何が起こるかを予測するだけではありません。 形式的要件と...
ブラックボックス・パラドックス：モデル性能が理解を超える場合 主張： ブラックボックス大規模言語モデルの知識蒸留は、プロプライエタリなシステムを大規模に展開する組織にとって運用上の必要性となっています。しかし内部モデルへのアクセス欠如—重み、活性化、中間表現—は知識転移メカニズムを根本的に制約します。従来の蒸留では重み空間の類似性を最適化していましたが、ブラックボックスシナリオでは入出力ペアのみから行動推論を行う必要があり、異なる技術的および認識論的課題...
ロープド言語モデルにおける読み出し盲点：密な教師信号では不十分 読み出しボトルネック：交差エントロピーが実際に教師信号を与えるもの ロープド言語モデル（隠れ状態ベクトルが反復を通じて保持され、各ステップで復号化されてから後続の計算に再入力されるアーキテクチャ）は、根本的な教師信号の非対称性をもたらします。標準的な交差エントロピー損失は読み出し層の出力（各タイムステップでの復号化されたトークン予測）のみに作用しますが、再帰的な状態遷移は完全な隠れ状態ベクトル...
4エキスパート異質型Mixture-of-Expertsの自動パイプライン探索による体系的検証 畳み込みゲーティングとエキスパートルーティング ゲーティングネットワークは、入力サンプルが4つの異質なエキスパート間で計算負荷をどのように分配するかを決定する重要な制御メカニズムとして機能します。この実装は、ルーティング決定に畳み込み層を採用し、空間特徴抽出を活用して各入力サンプルにどのエキスパートタイプが適切かを識別します。温度スケーリングはルーティングの鋭さ...
ChatGPT は工夫された指示によって性的暴力的画像を生成させることが可能であると研究者が発見 ジェイルブレイク手法：研究者がいかにして安全フィルターを回避したか 研究者らは、ChatGPT のコンテンツモデレーションシステムが慎重に構築されたプロンプトを通じて体系的に回避可能であることを実証しました。文書化された手法には以下が含まれます。(1) キーワードフィルタリングの限界を悪用したプロンプトエンジニアリング、(2) 要求を段階的にエスカレートさせる...
ガウス混合注意機構：確率的潜在ルーティングによる線形時間シーケンス混合 ボトルネック：スケール時の密集注意機構 標準的なTransformer注意機構は、すべてのクエリとキー間のペアワイズ類似度スコアを計算するため、長さNのシーケンスに対してO(N²)の演算とO(N²)のメモリが必要です。32,768トークンのシーケンスでは、10.7億要素の注意行列が生成されます。この二次複雑性は、本番システムにおいて2つの異なる障害モードを引き起こします。 1. メ...
不確実性下のスペクトラムアクセス：落ち着きのない盗賊問題の課題 無線スペクトラム管理は根本的な制約の下で動作します。チャネル状態の観測は不完全です。占有状態を検出するセンサーは偽陽性（チャネルがアイドル状態であるのに占有状態を示す）と偽陰性（チャネルが占有状態であるのにアイドル状態を示す）を生成します。意思決定者は、直接検証できない真の状態のノイズを含む観測に基づいて、複数のチャネル間で送信スロットを割り当てなければなりません。この運用設定は、二値潜在状態と不完...
生物進化と情報獲得 情報処理システムとしての進化 生物進化は、環境信号を遺伝的修正へと変換する情報獲得メカニズムとして機能します。その変換は、差別的な生殖成功を通じて行われます。この視点は自然選択を比喩的な「適者生存」ではなく、表現型変異のサンプリング、適応度の帰結評価、そして世代を超えた遺伝的形式での解決策の保存という機械的プロセスとして再構成します。 ゲノムは祖先的な環境との遭遇の符号化された記録として機能します。各対立遺伝子は、特定の生態学的文脈の中...
トランスフォーマーアテンションにおける実行制御の欠陥 アテンションメカニズムにおける実行制御のギャップ トランスフォーマーのアテンションメカニズムは、人間の認知を区別する重要な能力を欠いています。それが実行制御です。ここでは実行制御を、訓練データから学習した統計的パターンのみに依存するのではなく、タスク目標と文脈的要求に基づいて戦略的に情報フローを調整する能力として定義します。人間の認知は、トップダウンの制御プロセスを採用し、タスク無関連な情報を抑制し、目...
評価の盲点：大規模言語モデルのベンチマークカバレッジに関する立体幾何学的理論 テーゼ：ベンチマークスコアは隠すものが明かすものより多い 現在のLLM評価は、真の能力プロファイルに関する根本的な不確実性を曖昧にする集約ベンチマークスコアに依存しています。立体幾何学的フレームワークは、競争的なリーダーボード上で、同一の観測スコアと一致する構造的に異なる複数の能力マップが存在することを明らかにします。この盲点—測定されていない妥当な能力構成の集合—は測定ノイズの...
トランスフォーマーは3つのプロジェクションを必要とするのか。QKVバリアントの体系的研究 標準的な3プロジェクション構造の再検討 トランスフォーマーのクエリ・キー・バリュー（QKV）プロジェクション機構は、Vaswani et al.（2017）が「Attention Is All You Need」を発表して以来、ほぼ疑問の余地なく受け入れられてきました。標準的なアーキテクチャは、スケーリングされたドット積アテンション計算の前に、入力埋め込みを変換するため...
短期賃貸物件の動的価格設定における人間参加型コンテキストバンディット：履歴ウォームアップと承認ゲート型ライブラーニングの構造的等価性 スパースフィードバック市場における冷開始問題 短期賃貸物件の価格設定は、ほとんどの商業的価格設定システムとは異なる構造的制約の下で機能しています。各物件は1晩につき最大1件の予約決定を生成し、スパース（疎）で散発的なフィードバックをもたらします。これに対して、数千の客室にわたってレートを調整するホテルチェーンや、商品価格を最...
すべてを支配する一つのマスク：編集後の隠れた事実と、それを見つける方法について 外科的精密性の幻想 知識編集手法、特にROME（Rank-One Model Editing）とMEMIT（Mass-Editing Memory in a Transformer）は、トランスフォーマーモデルにおける標的化された事実更新のメカニズムとして提示されています。理論的な約束は単純明快です。特定のMLP（多層パーセプトロン）の重みを修正することで、実践者は新しい事実主張...
データ構成がスケールを上回るようになった LLM事前学習の有効性は、データセットの規模よりもデータ構成によってますます決定されるようになっています。 より大規模なデータセットが均一にモデル性能を向上させるという従来の仮定は、経験的に異議を唱えられています。スケーリング則とデータ効率に関する最近の研究（Hoffmann et al., 2022; Chinchilla scaling）は、キュレーションされた低容量のデータセットが、より大規模で異質な集合より...
アルゴメトリクス：アルゴリズミック・フィードバック下での予測 フィードバック・ループ問題 運用システムに配置された予測モデルは、もはやデータの受動的な観察者ではありません。予測アルゴリズムが出力を生成する際—取引判断、ポートフォリオ配分、リスク管理シグナルなど—その出力は直接的な介入となり、モデルが検証と再学習に依存するデータ生成プロセスそのものを変更します。 これは古典的な予測の仮定から根本的に逸脱しています。従来の時系列モデルは、将来がモデルの予測と...
Latent Cache Flow: モデル間通信のテキスト化排除 テーゼ 言語モデル間の直接的な潜在状態交換は、テキストのシリアライゼーション・オーバーヘッドを排除し、トークンレベルのアダプタ翻訳よりも情報損失が少ない、より高速なマルチエージェント調整を実現します。ただし、アーキテクチャの互換性と統制された実験条件での測定に依存します。 マルチエージェントLLMシステムにおけるテキストボトルネック 現在のマルチエージェント言語モデルシステムは、エ...
マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定 マスクシーケンスモデルにおける隠れた依存性の問題 マスク離散シーケンスモデル—タンパク質構造予測（AlphaFold2、OmegaFold）、コード生成（CodeBERT、GraphCodeBERT）、自然言語処理（BERT、RoBERTa）に展開されているものを含む—は条件付き独立性の仮定の下で動作します。これらのモデルはマスクされたトークンを可視コンテキストに条件付けて予測します。形...
強化学習を用いた逆構造設計とキリガミプロトタイプの高速レーザーカッティング キリガミメタマテリアルにおける逆設計の課題 キリガミメタマテリアルは、体系的な切断と折り畳み操作を通じて作成された平面構造であり、三次元構成へと展開します。逆設計問題は形式的に次のように定義されます。目標となる三次元形状 S_target が与えられたとき、P の展開と F が S_target に近似する幾何学を指定された許容範囲内で生成するような二次元切断パターン...
フラットな最小値は幻想なのか フラットネスのパラドックス：損失ランドスケープの幾何学が測定アーティファクトになるとき 主張： フラットな最小値がより良い汎化と相関するという広く信じられている見方は、モデル自体の根本的な性質ではなく、パラメータ化の選択によって生じた幻想に基づいているかもしれません。 根拠： ニューラルネットワークの損失ランドスケープは座標に依存しません。損失関数 $\mathcal{L}(\theta)$ はパラメータ化 $...
スカラー既約学習ダイナミクスによる内生的レジーム転換 学習システムにおけるスカラー既約性の分断 現代の機械学習システムはスカラー目的関数を最適化します。つまり、事前に定義されたターゲットからの距離を定量化する損失関数です。この運用上の制約は、基本的な数学的区別を確立します。スカラー既約ダイナミクスは単一のポテンシャル関数φ(θ)の負の勾配として表現できますが、スカラー既約ダイナミクスはそのような還元に抵抗します。 定義（スカラー既約性）...
Agentopic: 説明可能なトピックモデリングのための生成AI エージェントワークフロー トピックモデリングにおける透明性の危機 トピックモデリングは長年にわたり、根本的な解釈可能性の問題に直面してきました。手法は結果を生成しながらも、その推論プロセスを明確に示していないのです。この領域の基礎的アプローチであるLatent Dirichlet Allocation（LDA）は、ベイズ推定を通じてトピック分布を生成する確率推論によって動作しますが、その内部...
訓練中のスペクトル動力学：理解の転換 これまで、トランスフォーマーの重み行列は主に推論時、あるいは訓練済みモデルの事後分析を通じて研究されてきました。一般的な仮定は、スペクトル特性（特異値分布、安定ランク、べき乗則指数）が訓練の初期段階で安定化し、層全体でほぼ均一に保たれるというものでした。この見方は、訓練プロセスを本質的に不透明なシステムとして扱い、その内部的なスペクトル進化は観測不可能か、モデル動作の理解にとって周辺的なものと考えていました。 30M から ...
WorkflowGen: 軌跡経験に駆動されるアダプティブワークフロー生成メカニズム 記憶なき推論のコスト 大規模言語モデル（LLM）エージェントは根本的なアーキテクチャ上の非効率性を示しています。先行する実行履歴に関わらず、各タスクに対して初期状態からの推論を実行するのです。このステートレス設計は、以前に構造的に同一のタスクが完了していても、すべてのクエリに対して計画、実行、エラー回復に完全なトークン消費を必要とします。 計算オーバーヘッドは二つの次元...
形式的定理証明器がなぜ莫大な計算資源を要求するのか 大規模言語モデル（LLM）は形式的定理証明タスク（Lean、Coq、Isabelleなど）において測定可能な能力を示していますが、本番環境での展開は深刻なスケーラビリティの制約に直面しています。最先端のシステムは、（1）広範なテスト時ロールアウト（定理あたり500～5,000以上の証明試行が記録されています：Thakur et al., 2024; OpenAI Codex評価）、または（2）拡張されたコンテキ...
BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" Deep Learningにおけるメモリの壁：制約から機会へ ニューラルネットワークの訓練は根本的なアーキテクチャ制約に直面しています。逆伝播のための活性化を保存するには、O(L × B × N)に比例するメモリが必要です。ここでLはネットワーク深度、Bはシーケンス・バッチの基数、Nは...
思考のスペクトル幾何学：位相転移、命令反転、トークンレベルダイナミクス、およびトランスフォーマーの推論における完全な正確性予測 スペクトル位相転移：推論の隠れた幾何学 論題： 大規模言語モデルは、隠れた活性化空間におけるスペクトル位相転移を示し、これが推論タスクと事実想起タスクと相関している。これらの転移は実装ダイナミクスにおいてアーキテクチャ固有であるが、モデルファミリー全体で一貫した方向性パターンを示す。生成中に測定されたスペクトル署名は、最終ト...
スパースグッドネス：選択的測定がフォワード・フォワード学習をいかに変革するか グッドネス関数のボトルネック フォワード・フォワード（FF）学習は、層ごとのローカル学習ルールを実装することで、逆伝播に対する生物学的に妥当な代替案を提案しています。各層はグッドネス関数（正例データと負例データを区別するスカラーメトリクス）を採用し、グローバルなエラー信号なしでの訓練を可能にしています（Hinton, 2022）。この設計上の選択は、標準的なディープラーニングから...
ディフュージョンとアテンションの接続 トランスフォーマーとディフュージョンの背後にある統一的な幾何学 トランスフォーマー、ディフュージョンマップ、磁気ラプラシアンは、従来、異なる数学的対象として、独立した理論的基礎を持つものとして扱われてきました。しかし最近の理論的研究——特に最適輸送と幾何学的深層学習の領域で——これらが共通の基礎構造から生じることを示唆しています。その構造とは、ソフトマックス前のクエリ・キースコアから構成されたマルコフ幾何学です。この接...
バングラデシュ市場価格データセットを用いた農業商品価格予測における古典的機械学習モデルと深層学習モデルのベンチマーク 問題：断片化されたデータと手動予測 発展途上経済における農業商品価格は、歴史的に手動観察と季節的ヒューリスティクスを通じて予測されてきました。バングラデシュの小規模農家と食糧安全保障計画者は、信頼できる定量的モデルなしで運用されており、不完全な市場報告書と遅延した政府公報に依存していました。この運用上の制約により、意思決定者は価格ショックに...
破砕媒質シミュレーションにおける不均質性問題 破砕媒質シミュレーションにおける不均質性問題 破砕結晶質岩における地下水流動は、根本的な緊張関係を示します。亀裂は無視できない極端な空間不均質性を生み出しますが、それを完全に捉えるには法外な計算コストが必要です。三次元離散亀裂マトリックス（DFM）システムでは、透水係数がスケール全体で桁違いに変化します。亀裂は通常、周囲の岩石よりも10～100倍透水性が高く、不規則でまばらな幾何学を持ちます。微細スケールシミュ...
大規模言語モデルのための二段階オプティマイザ認識型オンラインデータ選択 オフライングラディエント選択とオンラインの現実 グラディエントベースのデータ選択手法は、LLM ファインチューニング時のサンプル有用性を推定するための原理的な基盤を確立しています。理論的根拠は堅牢です。各訓練例のグラディエントと検証性能目標との整合性を計算し、整合性の高いサンプルを優先するというアプローチです。このアプローチは、完全なデータセットが事前に利用可能であり、選択フェーズと訓練...
ハード制約を超えて：安全なオフライン強化学習のための予算条件付き到達可能性 安全な強化学習における敵対的トラップ 従来の安全な強化学習は、安全性をハード制約として定式化します。数学的には、すべての軌跡を通じて不等式制約 g(s,a) ≤ 0 を満たす必要がある状態行動対として表現されます。この二値的な枠組みは、根本的な最適化の対立を生み出します。目的関数は、期待累積報酬を最大化しながら同時に制約違反確率をゼロに保つ必要があるのです。結果として生じるミニマッ...
フレイドRoPEと長入力：幾何学的視点 回転の幾何学：RoPEが位置をエンコードする仕組み 回転位置埋め込み（RoPE）は、高次元空間のトークン表現に回転行列を適用することで動作します。回転角は位置インデックスに比例します（Su et al., 2021）。形式的には、位置mにあるトークンについて、次元ペア（2i, 2i+1）は角度θi·mだけ回転します。ここでθi = 10,000^(-2i/d)であり、dはモデルの次元です。この構成により、トークン...
構造化EHRファウンデーションモデルにおけるトークン化のトレードオフ 基礎：EHRモデルにおけるトークン化が重要である理由 構造化電子健康記録のためのファウンデーションモデルは、タイムスタンプ付きの臨床イベントの縦断的シーケンスを操作して、一般化可能な患者表現を学習します。これらのシーケンスがモデルアーキテクチャに到達する前に、離散的なトークンに変換される必要があります。このプロセスは、モデルが表現し学習できる情報を根本的に制約します。 トークン化設計は、...
前置き 事前学習の成果と運用現場のギャップ トランスフォーマーベースのモデルは、大規模な自己教師あり事前学習を通じて、縦断的な電子健康記録（EHR）の予測精度において改善を示しています。GT-BEHRTおよび関連アーキテクチャは、患者軌跡から大規模に分散表現を学習することで、再入院、死亡率、有害事象を含む臨床転帰の予測において測定可能な成果を達成しています。しかし、この実験室環境での性能は、根本的なメカニズムを隠蔽しています。すなわち、研究環境での性能と運用...
前置き AI システムにおける「学習」とは、実際のところ何を意味するのか 「学習」という用語は、認知科学と機械学習エンジニアリングの間で異なる意味を持っており、この区別は運用段階の AI デプロイメントにおいてしばしば曖昧にされています。認知科学における学習とは、生物が内部的な心的モデルを更新し、新しい情報を既存の知識構造に統合し、獲得したパターンを新しい文脈へと一般化するプロセスを指します（Schacter et al., 2007）。このプロセスには神...
DeLuLuはもう不要：物理学にインスパイアされたカーネルネットワークによる幾何学的に根拠づけられたニューラル計算 深層学習における活性化関数の危機 現代の深いニューラルネットワークは計算を標準化されたパイプラインに分解しています。線形変換、非線形活性化、正規化層です。このアーキテクチャパターンは原理的な導出ではなく経験的観察から生まれました。広く採用されている活性化関数（ReLU（整流線形ユニット）、GELU（ガウス誤差線形ユニット）およびそれらの変種）...
未来の相関を解く：時空間予測のための結合周波数領域学習 ポイント単位の損失関数が時空間構造を見落とす理由 標準的な予測モデルは平均二乗誤差（MSE）または平均絶対誤差（MAE）を最適化します。これらの目的関数は、各空間位置と時間ステップで予測誤差を独立に罰します。このアプローチは暗黙の仮定に基づいています。すなわち、ポイント単位の誤差を最小化することが、交通ネットワーク、気象グリッド、センサアレイといったグラフ構造データに内在する依存関係を自動的に捉えると...
RxnNano: 階層的カリキュラム学習を用いたコンパクト言語モデルの化学反応・逆合成予測への応用 化学反応予測: スケーリングの先へ 化学反応予測は、医薬品開発パイプラインと合成計画ワークフローの加速化を支える基盤的な能力です。現在の最先端アプローチは、パラメータスケーリングとデータセット拡張に大きく依存しており、この前提は検証に値します。実証的証拠が示すのは、これらの戦略は新規反応タイプや訓練データが疎な化学領域に直面すると、脆弱なモデルを生み出すとい...
表現消去ベースの選好最適化によるLLMの有害性除去 現在のLLM安全性における表面性の問題 既存の選好最適化技術—Direct Preference Optimization（DPO）、Negative Preference Optimization（NPO）、および関連手法を含む—は主に出力確率分布を修正することで行動レベルで機能します。しかし、機械的解釈可能性研究からの経験的証拠は、そのような訓練後も潜在空間に有害な表現構造が残存することを示唆していま...
欺くことは教えることか。敵対的強化学習を通じた知覚的堅牢性の構築 知覚的脆弱性の危機 マルチモーダル大規模言語モデル（MLLM）は確立されたベンチマークで強い性能を示す一方で、視覚的複雑性が増した条件下では体系的な失敗パターンを示しています。文書化された脆弱性には、雑然とした場面での物体の誤認識、根拠のない視覚的詳細の生成（ハルシネーション）、知覚的推論を必要とするタスクにおける推論性能の低下が含まれます。これらの失敗パターンは自動運転や医療画像解析といっ...
Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する 長いコンテキスト展開のボトルネック 現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、...
テンソルネットワークを組み合わせ最適化の生成モデルとして活用する テンソルネットワーク生成器強化最適化（TN-GEO）フレームワークは、巡回セールスマン問題（TSP）を離散的な組み合わせ探索タスクから確率的生成問題へと再構成します。局所探索や分枝限定法を通じて候補解を反復的に改善するのではなく、TN-GEOは行列積状態（MPS）—量子多体物理学に由来するテンソルネットワーク構造—を訓練し、高品質な実行可能ツアーに集中した確率分布を学習します。 基本的な原理は、...
季節トレンド分解の再検討：時系列予測の強化に向けて 現代的予測における分解の必然性 従来の時系列予測では、ニューラルネットワークが生の系列からトレンド、季節性、周期的パターン、ノイズを同時に学習する必要があります。この同時最適化は二つの明確な課題をもたらします。第一に最適化の困難性です。モデルは異なる時間特性を持つ複数の成分にわたって競合する目的関数のバランスを取らなければなりません。第二に解釈可能性の低下です。学習された表現が複数の信号源を混在させるため、...
約40MBのバイナリに隠されたバックドアを埋め込み、AIとGhidraに検出させてみた 実験設計：本番規模バイナリへのバックドア埋め込み 本質的に問われているのは、実運用環境を反映した規模でAI支援分析とGhidraの検出能力をどう評価するかです。約40MBのバイナリ—実世界の展開シナリオを代表する本番規模の実行ファイル—にバックドアを埋め込み、再現可能なベンチマークを確立しました。この規模の選択は意図的です。学術的評価では通常、小規模で単純化されたバイナ...
AIで最も誤解されているグラフ スケーリング則グラフの理解 主張：AI分野で最も誤解されているグラフはスケーリング則曲線である。モデルサイズ、訓練データ量、タスク損失の間の経験的関係を示すこのグラフは、普遍的な予測モデルとして解釈されることが多いが、実際には特定の限定された実験条件下でのみ有効な条件付きトレンドを表している。 定義的前提：Kaplan et al. (2020)とHoffmann et al. (2022)で形式化されたス...
HPC における電力性能トレードオフをナビゲートするための注意機構を備えたサロゲート ユーザーパフォーマンスと施設制約のバランス 高性能コンピューティング（HPC）スケジューラは、2つの競合する目標の間の根本的な緊張の下で動作します。個々のジョブのパフォーマンスを最大化しながら、施設全体の電力予算とリソース制約を尊重することです。この緊張は、計算パフォーマンスとエネルギー消費がノード割り当て決定を通じて結合されているために生じます。ユーザーが計算ジョブを送信...
FedUMM: 統一マルチモーダルモデルを用いた連合学習の一般的フレームワーク 基礎アーキテクチャとしての統一マルチモーダルモデル 統一マルチモーダルモデル（UMM）は、モダリティ固有のパイプラインから統合アーキテクチャへの基礎モデル設計における構造的転換を表しています。テキスト、画像、ビデオ、オーディオに対して個別の処理経路を維持する代わりに、UMMはこれらのモダリティを単一のニューラルアーキテクチャに統合し、すべての入力タイプにわたって生成タスクと理解タ...
再現性ヘッダー 論文: Hindsight Preference Replay Improves Preference-Conditioned Multi-Objective Reinforcement Learning 対象読者: 知識労働者 セクション: 前文 最終更新日: [現在の日付] --- 多目的強化学習とユーザー選好の整合 多目的強化学習(MORL)は、逐次的意思決定における基本的な課題に取り組む。...
♪より良いアテンション・プライアが必要だ ♪ 注意は最適輸送手段であるなぜ事前分布が重要なのか？ Claim:標準的なソフトマックスアテンションメカニズムはトークン位置に対する暗黙の一様事前分布を埋め込んでいる。この事前分布は数学的に任意であり、特定のタスクやデータ分布に対して最適でないことが多い。 理由と証拠: ソフトマックス注意は正則化された最適輸送問題を解く(Gechinovskiy et al., 2022; Petersen et...
品質か量か？マルチエージェントシステムにおけるガウス過程を用いた誤差情報に基づく選択的オンライン学習：拡張版 コンセンサスよりも協調：分散システムにおいて選択的学習が重要な理由 主張： 効果的な分散学習には、エージェントが包括的にではなく選択的に協調することが必要である。隣接するすべてのモデルを無差別に集約すると、予測精度が低下し、対応するパフォーマンス向上なしに計算リソースの消費が増加する。 根拠と前提： マルチエージェントシステムは従来...
GRADE: LLMアライメントにおける方策勾配の逆伝播による置き換え LLMアライメントにおける直接逆伝播の根拠 人間のフィードバックからの強化学習(RLHF)は、大規模言語モデルを人間の好みに合わせるための標準的なアプローチとなっている。経験的に、RLHFで訓練されたモデルは、指示追従の改善と有害な出力の測定可能な削減を示している(Christiano et al., 2017; Ouyang et al., 2022)。しかし、支配的な実装である近接方...
アシスタント軸:LLMのキャラクターの位置付けと安定化 アシスタント軸の定義 主張: 大規模言語モデルは測定可能なスペクトル、すなわち「アシスタント軸」に沿って動作し、実世界での展開において有用性、誠実性、無害性のバランスをどのように取るかを捉えている。 定義上の前提条件: アシスタント軸は、3つの主要な行動目標間のトレードオフを捉える多次元構造として定義される:(1)有用性、タスク完了率と応答の有用性として操作化される;(2)誠実性、事実...
デジタル代謝:再生的アンラーニングによる論理と事実の分離 — 純粋な神経論理コアに向けて パラメータのエンタングルメント:根本的な問題 主張: 大規模言語モデルはパラメータのエンタングルメントを示す。これは、推論論理と事実知識が共有された神経重みの中にエンコードされ、表現の干渉を生み出し、両方の能力を低下させるものである。 定義的前提条件: パラメータのエンタングルメントは、異なる機能的目的(論理的推論と事実検索)が重複する重み行列内に共存...
MoEの計算効率を重みとデータのスパース性の組み合わせで改善する 重みのスパース性:基盤 Mixture-of-Experts(MoE)アーキテクチャは、すべてのモデルパラメータを活性化するのではなく、各トークンを学習されたエキスパートのサブセットにルーティングすることで、順伝播あたりの計算コストを削減します。この重みのスパース性メカニズムが、MoEシステムにおける主要な効率向上を構成します。形式的には、モデルが合計E個のエキスパートを含み、各トークンが...
分割と洗練：会話における感情認識のためのマルチモーダル表現と説明可能性の強化 感情認識におけるマルチモーダル信号 主張: 会話文脈における感情認識には、3つの異なる情報源を統合するシステムが必要である：モダリティ固有の手がかり（個々のチャネルに固有の信号）、モダリティ間で共有される信号（冗長な情報）、および創発的相互作用（マルチモーダルの組み合わせからのみ生じる相乗的パターン）。 根拠と理論的基盤: 感情状態は複数のコミュニケーションチャネ...
LLM埋め込み空間における離散的意味状態とハミルトン動力学 LLM埋め込みにおける数学的構造 大規模言語モデルは、学習された変換を通じて意味情報を高次元ベクトル空間に投影する。これらの空間の内部組織—連続的か離散的か—は、未解決の実証的問題である。最近の計算的調査は、LLM埋め込みが均一な連続分布ではなく、離散的な意味組織と一致するクラスタリングパターンを示すことを示唆している。具体的には、意味的に類似した概念を表すトークンは埋め込み空間内の局所的な近傍を占...
テンソルネットワークモデル:深層学習に対するコンパクトな代替手段 高輝度大型ハドロン衝突型加速器(HL-LHC)におけるリアルタイム粒子分類は、明確に定義された制約の下で動作する推論システムを必要とする:マイクロ秒スケールのレイテンシ予算(トリガー段階でイベントあたり通常1~10 μs)、限られた電力エンベロープ(処理ノードあたり10~100 W)、および決定論的実行プロファイル。テンソルネットワーク(TN)モデル—特に行列積状態(MPS)とツリーテンソルネットワ...
ブラックボックス時系列モデルにおける説明可能性の危機 ブラックボックスモデルと事前学習済みアーキテクチャは、現在、金融、医療、産業システム全体にわたる時系列予測、異常検知、センサーデータ分析を支配している。しかし、その広範な採用は、厳密な説明手法の開発を上回るペースで進んでいる。医療モニタリング、金融取引、重要インフラといった高リスク領域では、説明不可能な予測が規制上および運用上の摩擦を生み出している。組織は記録された緊張関係に直面している:優れた予測精度を活用し...
RewriteNets: 生成的系列モデリングのためのエンドツーエンド訓練可能な文字列書き換え 現代の系列モデルにおける複雑性問題 Transformerベースのアーキテクチャは生成的系列モデリングの支配的なパラダイムとなっているが、十分に文書化された計算上の制限を示している:系列長における二次複雑性(O(n²))である。この複雑性は、注意機構がすべてのトークン位置間のペアワイズ類似度スコアを計算する必要があることから生じる。長さnの系列に対して、各注意ヘッ...
課題:LLMと分子設計の出会い 大規模言語モデル(LLM)は、多様な領域におけるパターン認識と推論タスクにおいて強力な性能を実証してきた(Vaswani et al., 2017; Brown et al., 2020)。しかし、構造ベース創薬(SBDD)への応用は、実用性を制約する2つの十分に文書化された制限に直面している。 第一に、LLMはタンパク質構造解釈に必要な堅牢な三次元空間推論能力を欠いている。これらのモデルは逐次的なトークン予測と意味的関係性におい...
マルチソース転移学習におけるソース重みと転移量の統合最適化:漸近的フレームワーク データ不足環境における転移学習 転移学習は機械学習における根本的な課題に対処する:ターゲットタスクのラベル付きデータが限られている場合に、許容可能なモデル性能を達成することである。実務者は、希少なターゲットデータでモデルをゼロから訓練するのではなく、関連するソースタスクから学習した表現とパラメータを活用して、サンプル複雑度を削減し、汎化性能を向上させる(Yosinski et ...
CSyMR: MIRツール統合による作曲的記号音楽推論のベンチマーク 孤立した音楽分析と作曲的推論の間のギャップ 大規模言語モデルは、制約された音楽分析タスク(例:和音識別、音階分類、単一小節コンテキストにおける和声機能ラベリング)において測定可能な能力を示してきた。しかし、MIR(音楽情報検索)評価フレームワークを含む既存の音楽推論ベンチマークは、分析次元間の統合を必要とせず、孤立した原子的知識を主に評価している。この制限は、ベンチマーク設計と専門的な音...
滑らかで解釈可能な正規化フローのための解析的全単射 正規化フローにおける可逆性の課題 正規化フローは、可逆変換の合成 $T = fn \circ f{n-1} \circ \cdots \circ f1$ を通じて扱いやすい密度推定を可能にします。ここで、対数尤度は次のように分解されます: $$\log p(x) = \log p0(z) - \sum{i=1}^{n} \log \left| \det \frac{\partial fi}{\...
思考の幾何学：トロピカル多項式回路としてのTransformerの開示 トロピカル幾何学が自己注意機構をMax-Plus代数として明らかにする 主張： Transformerの自己注意機構は、高信頼条件下においてmax-plus代数（トロピカル半環）として動作し、これはsoftmax関数における逆温度パラメータβを通じて形式化できる。 前提条件と定義： - Softmax注意機構は次のように定義される：α(i,j) = exp(β·s(i,...
スペクトル生成フローモデル:ベクトル化された大規模言語モデルに代わる物理学に着想を得た手法 トークンからフィールドへ:物理学に基づく代替手法 スペクトル生成フローモデル(SGFM)は、逐次情報の表現と処理方法において、トランスフォーマーアーキテクチャからの構造的な転換を表しています。言語をトークン列に離散化してグローバルアテンション機構を適用するのではなく、SGFMはテキスト生成をウェーブレット基底における確率微分方程式によって支配されるフィールドの連続的な...
LLMの階層的スパース+低ランク圧縮 現代のLLMにおけるメモリ危機 主張: 大規模言語モデルは現在、法外な量のメモリと計算資源を消費しており、実用的な展開と継続的な訓練のために圧縮は交渉の余地のない要件となっている。 前提条件と仮定: - モデルは事前量子化なしで完全精度(FP32)または半精度(FP16)で保存されている。 - 展開対象には、リソース制約のある環境(エッジデバイス、小規模クラスタ)またはコスト重視の推論シナリオが含まれる...