自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/3/29
Tag
未来の相関を解く：時空間予測のための結合周波数領域学習 ポイント単位の損失関数が時空間構造を見落とす理由 標準的な予測モデルは平均二乗誤差（MSE）または平均絶対誤差（MAE）を最適化します。これらの目的関数は、各空間位置と時間ステップで予測誤差を独立に罰します。このアプローチは暗黙の仮定に基づいています。すなわち、ポイント単位の誤差を最小化することが、交通ネットワーク、気象グリッド、センサアレイといったグラフ構造データに内在する依存関係を自動的に捉えると...
RxnNano: 階層的カリキュラム学習を用いたコンパクト言語モデルの化学反応・逆合成予測への応用 化学反応予測: スケーリングの先へ 化学反応予測は、医薬品開発パイプラインと合成計画ワークフローの加速化を支える基盤的な能力です。現在の最先端アプローチは、パラメータスケーリングとデータセット拡張に大きく依存しており、この前提は検証に値します。実証的証拠が示すのは、これらの戦略は新規反応タイプや訓練データが疎な化学領域に直面すると、脆弱なモデルを生み出すとい...
表現消去ベースの選好最適化によるLLMの有害性除去 現在のLLM安全性における表面性の問題 既存の選好最適化技術—Direct Preference Optimization（DPO）、Negative Preference Optimization（NPO）、および関連手法を含む—は主に出力確率分布を修正することで行動レベルで機能します。しかし、機械的解釈可能性研究からの経験的証拠は、そのような訓練後も潜在空間に有害な表現構造が残存することを示唆していま...
欺くことは教えることか。敵対的強化学習を通じた知覚的堅牢性の構築 知覚的脆弱性の危機 マルチモーダル大規模言語モデル（MLLM）は確立されたベンチマークで強い性能を示す一方で、視覚的複雑性が増した条件下では体系的な失敗パターンを示しています。文書化された脆弱性には、雑然とした場面での物体の誤認識、根拠のない視覚的詳細の生成（ハルシネーション）、知覚的推論を必要とするタスクにおける推論性能の低下が含まれます。これらの失敗パターンは自動運転や医療画像解析といっ...
Latent Context Compilation: 長いコンテキストをコンパクトなポータブルメモリに蒸留する 長いコンテキスト展開のボトルネック 現代の大規模言語モデル（LLM）は推論時に根本的な制約に直面しています。コンテキスト長と計算コストは超線形のスケーリング関係を示しています。具体的には、キー・バリュー（KV）キャッシュのメモリ要件はコンテキスト長に対して線形に増加する一方、注意計算は最悪の場合二次関数的（O(n²)）にスケールします。ただし、...
テンソルネットワークを組み合わせ最適化の生成モデルとして活用する テンソルネットワーク生成器強化最適化（TN-GEO）フレームワークは、巡回セールスマン問題（TSP）を離散的な組み合わせ探索タスクから確率的生成問題へと再構成します。局所探索や分枝限定法を通じて候補解を反復的に改善するのではなく、TN-GEOは行列積状態（MPS）—量子多体物理学に由来するテンソルネットワーク構造—を訓練し、高品質な実行可能ツアーに集中した確率分布を学習します。 基本的な原理は、...
季節トレンド分解の再検討：時系列予測の強化に向けて 現代的予測における分解の必然性 従来の時系列予測では、ニューラルネットワークが生の系列からトレンド、季節性、周期的パターン、ノイズを同時に学習する必要があります。この同時最適化は二つの明確な課題をもたらします。第一に最適化の困難性です。モデルは異なる時間特性を持つ複数の成分にわたって競合する目的関数のバランスを取らなければなりません。第二に解釈可能性の低下です。学習された表現が複数の信号源を混在させるため、...
約40MBのバイナリに隠されたバックドアを埋め込み、AIとGhidraに検出させてみた 実験設計：本番規模バイナリへのバックドア埋め込み 本質的に問われているのは、実運用環境を反映した規模でAI支援分析とGhidraの検出能力をどう評価するかです。約40MBのバイナリ—実世界の展開シナリオを代表する本番規模の実行ファイル—にバックドアを埋め込み、再現可能なベンチマークを確立しました。この規模の選択は意図的です。学術的評価では通常、小規模で単純化されたバイナ...
AIで最も誤解されているグラフ スケーリング則グラフの理解 主張：AI分野で最も誤解されているグラフはスケーリング則曲線である。モデルサイズ、訓練データ量、タスク損失の間の経験的関係を示すこのグラフは、普遍的な予測モデルとして解釈されることが多いが、実際には特定の限定された実験条件下でのみ有効な条件付きトレンドを表している。 定義的前提：Kaplan et al. (2020)とHoffmann et al. (2022)で形式化されたス...
HPC における電力性能トレードオフをナビゲートするための注意機構を備えたサロゲート ユーザーパフォーマンスと施設制約のバランス 高性能コンピューティング（HPC）スケジューラは、2つの競合する目標の間の根本的な緊張の下で動作します。個々のジョブのパフォーマンスを最大化しながら、施設全体の電力予算とリソース制約を尊重することです。この緊張は、計算パフォーマンスとエネルギー消費がノード割り当て決定を通じて結合されているために生じます。ユーザーが計算ジョブを送信...
FedUMM: 統一マルチモーダルモデルを用いた連合学習の一般的フレームワーク 基礎アーキテクチャとしての統一マルチモーダルモデル 統一マルチモーダルモデル（UMM）は、モダリティ固有のパイプラインから統合アーキテクチャへの基礎モデル設計における構造的転換を表しています。テキスト、画像、ビデオ、オーディオに対して個別の処理経路を維持する代わりに、UMMはこれらのモダリティを単一のニューラルアーキテクチャに統合し、すべての入力タイプにわたって生成タスクと理解タ...
再現性ヘッダー 論文: Hindsight Preference Replay Improves Preference-Conditioned Multi-Objective Reinforcement Learning 対象読者: 知識労働者 セクション: 前文 最終更新日: [現在の日付] --- 多目的強化学習とユーザー選好の整合 多目的強化学習(MORL)は、逐次的意思決定における基本的な課題に取り組む。...
♪より良いアテンション・プライアが必要だ ♪ 注意は最適輸送手段であるなぜ事前分布が重要なのか？ Claim:標準的なソフトマックスアテンションメカニズムはトークン位置に対する暗黙の一様事前分布を埋め込んでいる。この事前分布は数学的に任意であり、特定のタスクやデータ分布に対して最適でないことが多い。 理由と証拠: ソフトマックス注意は正則化された最適輸送問題を解く(Gechinovskiy et al., 2022; Petersen et...
品質か量か？マルチエージェントシステムにおけるガウス過程を用いた誤差情報に基づく選択的オンライン学習：拡張版 コンセンサスよりも協調：分散システムにおいて選択的学習が重要な理由 主張： 効果的な分散学習には、エージェントが包括的にではなく選択的に協調することが必要である。隣接するすべてのモデルを無差別に集約すると、予測精度が低下し、対応するパフォーマンス向上なしに計算リソースの消費が増加する。 根拠と前提： マルチエージェントシステムは従来...
GRADE: LLMアライメントにおける方策勾配の逆伝播による置き換え LLMアライメントにおける直接逆伝播の根拠 人間のフィードバックからの強化学習(RLHF)は、大規模言語モデルを人間の好みに合わせるための標準的なアプローチとなっている。経験的に、RLHFで訓練されたモデルは、指示追従の改善と有害な出力の測定可能な削減を示している(Christiano et al., 2017; Ouyang et al., 2022)。しかし、支配的な実装である近接方...
アシスタント軸:LLMのキャラクターの位置付けと安定化 アシスタント軸の定義 主張: 大規模言語モデルは測定可能なスペクトル、すなわち「アシスタント軸」に沿って動作し、実世界での展開において有用性、誠実性、無害性のバランスをどのように取るかを捉えている。 定義上の前提条件: アシスタント軸は、3つの主要な行動目標間のトレードオフを捉える多次元構造として定義される:(1)有用性、タスク完了率と応答の有用性として操作化される;(2)誠実性、事実...
デジタル代謝:再生的アンラーニングによる論理と事実の分離 — 純粋な神経論理コアに向けて パラメータのエンタングルメント:根本的な問題 主張: 大規模言語モデルはパラメータのエンタングルメントを示す。これは、推論論理と事実知識が共有された神経重みの中にエンコードされ、表現の干渉を生み出し、両方の能力を低下させるものである。 定義的前提条件: パラメータのエンタングルメントは、異なる機能的目的(論理的推論と事実検索)が重複する重み行列内に共存...
MoEの計算効率を重みとデータのスパース性の組み合わせで改善する 重みのスパース性:基盤 Mixture-of-Experts(MoE)アーキテクチャは、すべてのモデルパラメータを活性化するのではなく、各トークンを学習されたエキスパートのサブセットにルーティングすることで、順伝播あたりの計算コストを削減します。この重みのスパース性メカニズムが、MoEシステムにおける主要な効率向上を構成します。形式的には、モデルが合計E個のエキスパートを含み、各トークンが...
分割と洗練：会話における感情認識のためのマルチモーダル表現と説明可能性の強化 感情認識におけるマルチモーダル信号 主張: 会話文脈における感情認識には、3つの異なる情報源を統合するシステムが必要である：モダリティ固有の手がかり（個々のチャネルに固有の信号）、モダリティ間で共有される信号（冗長な情報）、および創発的相互作用（マルチモーダルの組み合わせからのみ生じる相乗的パターン）。 根拠と理論的基盤: 感情状態は複数のコミュニケーションチャネ...
LLM埋め込み空間における離散的意味状態とハミルトン動力学 LLM埋め込みにおける数学的構造 大規模言語モデルは、学習された変換を通じて意味情報を高次元ベクトル空間に投影する。これらの空間の内部組織—連続的か離散的か—は、未解決の実証的問題である。最近の計算的調査は、LLM埋め込みが均一な連続分布ではなく、離散的な意味組織と一致するクラスタリングパターンを示すことを示唆している。具体的には、意味的に類似した概念を表すトークンは埋め込み空間内の局所的な近傍を占...
テンソルネットワークモデル:深層学習に対するコンパクトな代替手段 高輝度大型ハドロン衝突型加速器(HL-LHC)におけるリアルタイム粒子分類は、明確に定義された制約の下で動作する推論システムを必要とする:マイクロ秒スケールのレイテンシ予算(トリガー段階でイベントあたり通常1~10 μs)、限られた電力エンベロープ(処理ノードあたり10~100 W)、および決定論的実行プロファイル。テンソルネットワーク(TN)モデル—特に行列積状態(MPS)とツリーテンソルネットワ...
ブラックボックス時系列モデルにおける説明可能性の危機 ブラックボックスモデルと事前学習済みアーキテクチャは、現在、金融、医療、産業システム全体にわたる時系列予測、異常検知、センサーデータ分析を支配している。しかし、その広範な採用は、厳密な説明手法の開発を上回るペースで進んでいる。医療モニタリング、金融取引、重要インフラといった高リスク領域では、説明不可能な予測が規制上および運用上の摩擦を生み出している。組織は記録された緊張関係に直面している:優れた予測精度を活用し...
RewriteNets: 生成的系列モデリングのためのエンドツーエンド訓練可能な文字列書き換え 現代の系列モデルにおける複雑性問題 Transformerベースのアーキテクチャは生成的系列モデリングの支配的なパラダイムとなっているが、十分に文書化された計算上の制限を示している:系列長における二次複雑性(O(n²))である。この複雑性は、注意機構がすべてのトークン位置間のペアワイズ類似度スコアを計算する必要があることから生じる。長さnの系列に対して、各注意ヘッ...
課題:LLMと分子設計の出会い 大規模言語モデル(LLM)は、多様な領域におけるパターン認識と推論タスクにおいて強力な性能を実証してきた(Vaswani et al., 2017; Brown et al., 2020)。しかし、構造ベース創薬(SBDD)への応用は、実用性を制約する2つの十分に文書化された制限に直面している。 第一に、LLMはタンパク質構造解釈に必要な堅牢な三次元空間推論能力を欠いている。これらのモデルは逐次的なトークン予測と意味的関係性におい...
マルチソース転移学習におけるソース重みと転移量の統合最適化:漸近的フレームワーク データ不足環境における転移学習 転移学習は機械学習における根本的な課題に対処する:ターゲットタスクのラベル付きデータが限られている場合に、許容可能なモデル性能を達成することである。実務者は、希少なターゲットデータでモデルをゼロから訓練するのではなく、関連するソースタスクから学習した表現とパラメータを活用して、サンプル複雑度を削減し、汎化性能を向上させる(Yosinski et ...
CSyMR: MIRツール統合による作曲的記号音楽推論のベンチマーク 孤立した音楽分析と作曲的推論の間のギャップ 大規模言語モデルは、制約された音楽分析タスク(例:和音識別、音階分類、単一小節コンテキストにおける和声機能ラベリング)において測定可能な能力を示してきた。しかし、MIR(音楽情報検索)評価フレームワークを含む既存の音楽推論ベンチマークは、分析次元間の統合を必要とせず、孤立した原子的知識を主に評価している。この制限は、ベンチマーク設計と専門的な音...
滑らかで解釈可能な正規化フローのための解析的全単射 正規化フローにおける可逆性の課題 正規化フローは、可逆変換の合成 $T = fn \circ f{n-1} \circ \cdots \circ f1$ を通じて扱いやすい密度推定を可能にします。ここで、対数尤度は次のように分解されます: $$\log p(x) = \log p0(z) - \sum{i=1}^{n} \log \left| \det \frac{\partial fi}{\...
思考の幾何学：トロピカル多項式回路としてのTransformerの開示 トロピカル幾何学が自己注意機構をMax-Plus代数として明らかにする 主張： Transformerの自己注意機構は、高信頼条件下においてmax-plus代数（トロピカル半環）として動作し、これはsoftmax関数における逆温度パラメータβを通じて形式化できる。 前提条件と定義： - Softmax注意機構は次のように定義される：α(i,j) = exp(β·s(i,...
スペクトル生成フローモデル:ベクトル化された大規模言語モデルに代わる物理学に着想を得た手法 トークンからフィールドへ:物理学に基づく代替手法 スペクトル生成フローモデル(SGFM)は、逐次情報の表現と処理方法において、トランスフォーマーアーキテクチャからの構造的な転換を表しています。言語をトークン列に離散化してグローバルアテンション機構を適用するのではなく、SGFMはテキスト生成をウェーブレット基底における確率微分方程式によって支配されるフィールドの連続的な...
LLMの階層的スパース+低ランク圧縮 現代のLLMにおけるメモリ危機 主張: 大規模言語モデルは現在、法外な量のメモリと計算資源を消費しており、実用的な展開と継続的な訓練のために圧縮は交渉の余地のない要件となっている。 前提条件と仮定: - モデルは事前量子化なしで完全精度(FP32)または半精度(FP16)で保存されている。 - 展開対象には、リソース制約のある環境(エッジデバイス、小規模クラスタ)またはコスト重視の推論シナリオが含まれる...