情報理論 | Tags | Autognosis

AI・機械学習

2026年6月4日 18:28

Abstract visualization of a masked sequence model showing discrete tokens with some masked out, connected by neural network pathways, with a partially visible dependency graph structure in the background representing hidden variable relationships

マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定

マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定マスクシーケンスモデルにおける隠れた依存性の問題マスク離散シーケンスモデル—タンパク質構造予測（AlphaFold2、OmegaFold）、コード生成（CodeBERT、GraphCodeBERT）、自然言語処理（BERT、RoBERTa）に展開されているものを含む—は条件付き独立性の仮定の下で動作します。これらのモデルはマスクされたトークンを可視コンテキストに条件付けて予測します。形...

#自然言語処理 #説明可能なAI #機械学習

AI・機械学習

2026年5月6日 10:45

Split visualization comparing inefficient branching proof search tree with hundreds of attempts on the left versus streamlined optimized proof path on the right, set against a mathematical background with modern tech styling

形式的定理証明器がなぜ莫大な計算資源を要求するのか

形式的定理証明器がなぜ莫大な計算資源を要求するのか大規模言語モデル（LLM）は形式的定理証明タスク（Lean、Coq、Isabelleなど）において測定可能な能力を示していますが、本番環境での展開は深刻なスケーラビリティの制約に直面しています。最先端のシステムは、（1）広範なテスト時ロールアウト（定理あたり500～5,000以上の証明試行が記録されています：Thakur et al., 2024; OpenAI Codex評価）、または（2）拡張されたコンテキ...

#大規模言語モデル #形式定理証明 #機械学習

#情報理論

マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定

形式的定理証明器がなぜ莫大な計算資源を要求するのか