ニュースから、自分の思い込みに気づく

テクノロジーと社会のニュースを、やさしい言葉で解きほぐすメディア。読み終えたとき、自分の見方が少し変わる記事を届けます。

Tag

#ベンチマーキング

AI・機械学習
2026年10月7日 15:39
広場の中央に浮かぶ大きなランタンを、さまざまなキャラクターがそれぞれ違う方向へ糸で引っ張り合っている様子と、そこへ巻き込まれるNeko-sanのイラスト。

強いオープンモデルの多くは中国発に Metaは迷い、米国勢は慎重なまま

オープンウェイトAIの話は、よく「ダビデとゴリアテ」の物語として語られる。資金力のある閉じた研究所に、小さなコミュニティが挑む構図だ。だが実際には、もっと入り組んでいる。オープンモデルの力は、いくつもの門番に分かれている。中国の研究所は、強力なMixture-of-Experts(専門家混合)モデルを、制限の緩いライセンスで公開している。Metaは、Llamaのあとも公開を続けるのかがはっきりしない。アメリカの取り組みもいくつか続いているが、慎重な姿勢が目立つ。

-- いいね数
続きを読む
AI・機械学習
2026年9月30日 14:25
運動会のスタートラインで、大きなリュックと小さなリュックを背負った二人の選手を、審判の子がリュックの大きさの差を指さして見比べている場面。ネコさんが大きなリュックの巨大な荷物に押されて慌てている。

品質だけでは見抜けない記憶方式の実力 BudgetBenchは予算超過率と遅延も記録する

ローカルで動かすAIエージェントの「記憶のしかた」を比べる研究の多くは、いちばん大事な条件を抜かしている。1回の呼び出しで使える入力トークンの上限(予算)だ。エージェントがどう覚えておくかを、研究者は評価する。切り捨て、要約、検索、それらの組み合わせなどがある。たいていは品質スコアを1つだけ報告する。各方式が入力トークンをいくつまで使ってよかったのかは、ほとんど書かれない。この抜けが結果をゆがめる。ある方式は積極的に検索して8Kの枠をいっぱいに使う。

-- いいね数
続きを読む
AI・機械学習
2026年9月25日 14:20
Neko-san の机に、同じ間違いを繰り返す小さなロボット生徒のワークシートがどっと積み上がり、経験が積み重ならない様子を表している。

AIエージェントは本当に経験から学ぶのか AhaBenchが突く記憶と転移の差

多くのエージェント向けベンチマークは、たった1つの問いしか立てていない。「このエージェントは今このタスクを解けるか」というものだ。エージェントはプロンプトを受け取り、行動の軌跡を作り、点数がつく。そして次のタスクでは、まっさらな状態に戻される。だが、この作り方には見落としがある。実際に使われるシステムは、経験を積むほど賢くなることが前提だからだ。1回のやりとりで得た教訓を、次のやりとりに持ち込めることが期待されている。AhaBenchが狙うのは、まさにこの見落としだ。

-- いいね数
続きを読む
AI・機械学習
2026年8月21日 19:04
Abstract visualization combining biological elements like RNA strands and blood cells with machine learning network nodes, representing the intersection of multiple sclerosis diagnosis, blood biomarkers, and computational analysis

MS-MLB: 血液ベースのMS分類に向けたオープン機械学習ベンチマーク

多発性硬化症(MS)の診断は、神経学的検査、MRI所見、検査室検査、および代替診断の体系的除外を統合する必要がある多面的な臨床課題のままです。このプロセスはMcDonald基準(2017年改訂版)に形式化されています。この診断枠組みは、単一の病理学的特異的検査が存在しないことを反映しており、多層的画像検査と脳脊髄液分析を通じて確認される脱髄病変の時間的および空間的分散が必要です。診断遅延は特に早期疾患段階において重大な結果をもたらします。

-- いいね数
続きを読む
AI・機械学習
2026年8月20日 11:39
Split composition showing an iron-sulfur molecular cluster structure on the left meeting abstract quantum computing visualization with circuit patterns and wave functions on the right, representing quantum chemistry simulation

鉄硫黄クラスタでキュービット半減もSQD/QSCIに潜む「確信を持った誤答」リスク

鉄硫黄クラスタは生化学と触媒化学に遍在しています。それらの電子構造は、モデル化が極めて困難です。強い電子相関、狭いエネルギーウィンドウ内の複数のスピン状態、幾何学への感度を示します。古典的な密度汎関数理論(DFT)はしばしばスピン状態を誤順序付けするか、障壁を過大評価します。結合クラスタメソッドは大規模クラスタで遅く収束します。変分量子固有ソルバー(VQE)は、多電子相関を正確に表現するために必要な回路深度と測定オーバーヘッドで歴史的に苦労してきました。

#量子コンピューティング #量子化学 #ベンチマーキング
-- いいね数
続きを読む
AI・機械学習
2026年8月7日 08:51
Split-screen visualization showing the transformation from chaotic unstructured data on the left to organized structured data on the right, representing the data preparation process for machine learning training

DataPrep-Bench: LLMをトレーニングデータ準備者として評価する

トレーニングデータの品質は、大規模言語モデル(LLM)の能力を決定する主要因です(Kaplan et al., 2020; Hoffmann et al., 2022)。しかし現在、LLM自体がデータ準備タスクを確実に実行できるかどうかを評価するための標準化された測定フレームワークが業界に不足しています。組織は孤立した能力評価に基づいてLLM駆動のデータパイプラインを展開することが頻繁にあります。

-- いいね数
続きを読む
AI・機械学習
2026年8月2日 09:39
Split composition showing contrasting technological spheres representing AI development, with a central glowing neural network node bridging both sides, symbolizing technological competition and unexpected parity in artificial intelligence capabilities

ムーンショットのKimiが米国の対中優位性に関する通説を覆す

つい最近まで、中国のAI業界は米国に対する意味のある技術的遅れという物語を構築してきました。ギャップが拡大するという予測も示されていました。この共通認識はムーンショットAIのKimiモデルによって異議を唱えられています。Kimiは標準化されたベンチマークで競争力のあるパフォーマンスを示し、先行する仮定の再評価を正当化する建築上のイノベーションを導入しています。具体的には、Kimiはコンテキストウィンドウ内で最大20万の中国語文字を処理できます。

-- いいね数
続きを読む
AI・機械学習
2026年8月1日 12:10
Split composition showing abstract AI visualization elements separated from real-world professionals at work, illustrating the disconnect between explainable AI research and practical decision-making

ポジション:説明可能性研究は恣意的手法よりも基礎に優先順位を置くべき

説明可能AI研究は多数の技術を生み出してきました。特徴帰属法(LIME、SHAP)、顕著性マッピング、スパースオートエンコーダ、注意メカニズムの可視化などです。しかし、これらが実質的な意思決定に及ぼす影響についての経験的証拠は限定的です。組織の導入パターンから見ると、説明は主にコンプライアンス成果物として機能しています。規制要件や監査プロセスを満たすために生成され、その後、運用上の意思決定システムに統合されないまま保管されるのです。

-- いいね数
続きを読む
AI・機械学習
2026年7月31日 09:56
Abstract visualization depicting China's AI development through neural networks and data streams on one side, merging with symbolic representations of international stage presence and security surveillance on the other, illustrating the dual nature of technological advancement and strategic implications

中国のAI台頭がもたらす習近平への舞台と安全保障のジレンマ

中国のAIセクターは測定可能な技術能力の転換を遂行しています。正確な評価が必要です。アリババのQwenやバイドゥのErnieといった中国の大規模言語モデル(LLM)は、特定の領域—特に多言語推論と中国語タスク—において、標準化されたベンチマークでGPT-4やClaudeと比較可能なパフォーマンス指標を示しています。ただし、すべての能力次元にわたってではありません。これは包括的な同等性ではなく、限定的領域での収束を示しています。

-- いいね数
続きを読む
AI・機械学習
2026年7月15日 16:59
Abstract visualization depicting data streams and particle flows transforming into mathematical equations and geometric patterns, representing the process of discovering governing equations from observational data

観測データからの解釈可能な発見

観測データから直接支配方程式を発見することは、従来の予測的機械学習とは異なる方法論的な転換を意味します。予測精度の最適化だけを目指すのではなく、方程式発見は物理系の動態を特徴づける偏微分方程式(PDE)の基礎構造を復元することを目指しています。この復元により科学的解釈が可能になります。つまり、システムがなぜそのように振る舞うのかを説明する能力が得られるのであり、単に何が起こるかを予測するだけではありません。

-- いいね数
続きを読む
AI・機械学習
2026年7月2日 17:15
Conceptual illustration of a cracked digital security barrier with text fragments flowing through gaps, representing vulnerabilities in AI content moderation systems, with a neural network structure visible in the background

ChatGPT は工夫された指示によって性的暴力的画像を生成させることが可能であると研究者が発見

研究者らは、ChatGPT のコンテンツモデレーションシステムが慎重に構築されたプロンプトを通じて体系的に回避可能であることを実証しました。文書化された手法には以下が含まれます。(1) キーワードフィルタリングの限界を悪用したプロンプトエンジニアリング、(2) 要求を段階的にエスカレートさせるマルチターン会話戦略、(3) 禁止されたコンテンツを仮説的シナリオまたは創作演習として意味的に再構成する手法です。

-- いいね数
続きを読む
AI・機械学習
2026年6月26日 09:35
Split image showing a pristine AI interface with safety shields on the left contrasted with a glitching, fragmented version of the same interface with warning symbols on the right, representing the gap between AI safety claims and observed performance

あなたたちは嘘をついていると思う [動画]

Anthropicは、推論能力と堅牢なセーフティ保証を備えたモデルとしてClaudeをマーケティングしています。この動画は、Claudeの観測された性能がこれらの主張から乖離している事例を文書化した統制された試験シナリオを提示しています。中核的な主張は正確に定式化される必要があります。

-- いいね数
続きを読む
AI・機械学習
2026年6月23日 13:13
Cross-section visualization of a tokamak nuclear fusion reactor with glowing blue-purple plasma contained in a torus shape, surrounded by golden magnetic field lines and overlaid with abstract machine learning data visualization elements including neural networks and analytical graphs

オフライン強化学習によるプラズマ制御:核融合における実装とベンチマーク

核融合プラズマ制御は、強化学習の方法論的適用可能性を根本的に再構成する制約の下で動作しています。すなわち、オンライン試行錯誤学習は経済的に禁止的であり、運用上危険です。トカマク施設は1億度を超える温度でプラズマを強力な磁場配置内に維持します。プラズマ不安定性(破壊的放電やエッジ局在モード)は超伝導磁石と構造部品に損傷を与える可能性があり、交換費用は数億ドルを超えます(ITER Organization, 2020)。

-- いいね数
続きを読む
AI・機械学習
2026年6月20日 16:09
A three-dimensional wireframe grid with scattered glowing points projects down onto a two-dimensional surface, illustrating how high-dimensional AI capability spaces are reduced to limited benchmark measurements, with most of the space remaining unmeasured in shadow

評価の盲点:大規模言語モデルのベンチマークカバレッジに関する立体幾何学的理論

現在のLLM評価は、真の能力プロファイルに関する根本的な不確実性を曖昧にする集約ベンチマークスコアに依存しています。立体幾何学的フレームワークは、競争的なリーダーボード上で、同一の観測スコアと一致する構造的に異なる複数の能力マップが存在することを明らかにします。この盲点—測定されていない妥当な能力構成の集合—は測定ノイズの成果物ではなく、低次元のベンチマークスイートを使用して高次元の能力空間を評価することの決定論的な構造的帰結です。

-- いいね数
続きを読む
AI・機械学習
2026年6月6日 13:35
Split-screen visualization contrasting traditional laboratory drug discovery with test tubes and molecules on the left, and AI-powered computational drug discovery with glowing neural networks and digital molecular structures on the right, connected by flowing data streams

数十年から数年へ - AIが脳疾患治療薬の発見を加速させる可能性

従来の医薬品開発は長期的で段階的なプロセスに従います。研究者は疾患の標的タンパク質を特定し、化学ライブラリー(通常100万~1000万の化合物)をハイスループットスクリーニングアッセイで検査し、有望な候補を細胞およびモデル動物で検証し、規制当局の承認を経ます。このプロセスには10~15年と平均26億ドルの資本化コストが必要です(DiMasi et al., 2016)。運動ニューロン病(MND)などの稀な神経疾患の場合、このタイムラインは根本的な制約となります。

-- いいね数
続きを読む
AI・機械学習
2026年4月30日 14:59
Abstract visualization of neural network layers showing selective neuron activation patterns, with some nodes brightly illuminated in golden yellow against a blue background, representing sparse measurement in Forward-Forward learning architecture

スパースグッドネス:選択的測定がフォワード・フォワード学習をいかに変革するか

フォワード・フォワード(FF)学習は、層ごとのローカル学習ルールを実装することで、逆伝播に対する生物学的に妥当な代替案を提案しています。各層はグッドネス関数(正例データと負例データを区別するスカラーメトリクス)を採用し、グローバルなエラー信号なしでの訓練を可能にしています(Hinton, 2022)。この設計上の選択は、標準的なディープラーニングからの大きな転換である逆伝播勾配の必要性を排除しています。

-- いいね数
続きを読む
AI・機械学習
2026年4月23日 17:04
Split composition showing traditional Bangladeshi agricultural market with fresh produce and farmers on the left transitioning to modern digital price forecasting charts and data visualizations on the right, representing the evolution from manual to machine learning-based commodity price prediction

バングラデシュ市場価格データセットを用いた農業商品価格予測における古典的機械学習モデルと深層学習モデルのベンチマーク

発展途上経済における農業商品価格は、歴史的に手動観察と季節的ヒューリスティクスを通じて予測されてきました。バングラデシュの小規模農家と食糧安全保障計画者は、信頼できる定量的モデルなしで運用されており、不完全な市場報告書と遅延した政府公報に依存していました。この運用上の制約により、意思決定者は価格ショックに対して脆弱であり、定量的確信を持って植付けや調達のタイミングを最適化することができませんでした。

-- いいね数
続きを読む
AI・機械学習
2026年2月28日 20:54
Abstract visualization of a neural network being compressed, showing interconnected nodes transforming from a dispersed structure into a compact, efficient geometric form with glowing pathways in blue and cyan tones

スペイン発「スーニコーン」Multiverse Computingが無料の圧縮AI モデルをリリース

Multiverse Computing はユニコーン評価額に近づくスペインのスタートアップですが、HyperNova 60B という圧縮言語モデルを Hugging Face で無料公開しました。この動きは、断片化した AI 市場における意図的なポジショニングを反映しています。本質的に問われているのは、独占的な所有権を追求するのではなく、オープンソース配布を通じて開発者の採用と技術的信頼性を有料オプションよりも迅速に構築できるかという点です。タイミングは戦略的です。

-- いいね数
続きを読む
AI・機械学習
2026年2月26日 22:47
Split-screen illustration contrasting AI visual reasoning: left side shows neural network properly connected to road scene for autonomous driving, right side shows same network relying only on text patterns with faded visual input, highlighting the text-bias problem in vision language models

自動運転向けVLMの合成生成MCQAにおけるテキストバイアスの削減

自動運転評価向けに設計されたビジョン言語モデル(VLM)は、十分に文書化された現象に根ざした根本的な検証危機に直面しています。すなわち、モデルが視覚情報を処理することなくベンチマークレベルのパフォーマンスを達成するという現象です。

-- いいね数
続きを読む
AI・機械学習
2026年2月23日 18:34
Abstract visualization of an advanced AI neural network architecture showing extended reasoning pathways with multiple interconnected processing layers in blue and purple tones, representing complex analytical capabilities

複雑性のアーキテクチャ:3.1 Pro が異なる理由

Gemini 3.1 Pro は、レイテンシ最適化よりも拡張推論チェーンを優先する意図的なアーキテクチャシフトを示しています。先行モデルが個別クエリへの迅速な応答生成を重視する一方で、3.1 Pro は複数ステップの分析タスク全体にわたって一貫性を維持するよう設計された反復的洗練プロセスを実装しています。これは能力の違いというより、異なる最適化目標を反映した区別です。主要なアーキテクチャメカニズムは以下の通りです。

-- いいね数
続きを読む
AI・機械学習
2026年2月15日 01:02
A three-dimensional visualization of a scaling law curve in glowing blue, surrounded by translucent geometric boundaries that fade at the edges, representing the conditional nature and limitations of AI scaling laws

AIで最も誤解されているグラフ

AI分野で最も誤解されているグラフはスケーリング則曲線である。モデルサイズ、訓練データ量、タスク損失の間の経験的関係を示すこのグラフは、普遍的な予測モデルとして解釈されることが多いが、実際には特定の限定された実験条件下でのみ有効な条件付きトレンドを表している。定義的前提:Kaplan et al. (2020)とHoffmann et al. (2022)で形式化されたスケーリング則は、べき乗則関係を記述する。

-- いいね数
続きを読む
AI・機械学習
2026年2月13日 07:02
Split composition contrasting organized AI benchmark metrics on one side with chaotic neural patterns and dark gaps representing blind spots in capability assessment on the other side

ザ・ダウンロード:AIの追跡を試みること、そして次世代原子力発電

AI研究・展開コミュニティは、フロンティアモデルにおける真の能力向上を測定するための正式な合意メカニズムを欠いており、能力評価とリスク特性化における体系的な盲点をもたらしている。

-- いいね数
続きを読む
AI・機械学習
2026年2月12日 01:02
A person sitting alone during the holiday season looking at their smartphone, with abstract digital AI elements and warm light connecting from the device, representing the intersection of human loneliness and artificial intelligence companionship

AI コンパニオンは休日の憂鬱の治療法となるのか

AI コンパニオンは、アクセス可能で非同期的な会話を提供することで、休日シーズン中の知覚された孤立を軽減する可能性がある。しかし、有意義な感情的改善の証拠は限定的であり、文脈に依存している。前提条件と仮定:根拠: 疫学的データは冬季月間、特に高齢者と地理的に家族から離れている個人の間で孤独率の上昇を示している(Cacioppo & Patrick, 2008; Lim et al., 2020)。

-- いいね数
続きを読む
Technical illustration of a processor chip showing two types of cores: smaller efficiency cores in blue light handling background tasks, and larger performance cores in amber light handling intensive operations, connected by circuit pathways on a dark silicon background

なぜEコアがAppleシリコンを高速化するのか

Appleの効率コア(Eコア)は、異なるパフォーマンスと電力特性を持つコア間に計算作業を分散させるヘテロジニアスプロセッサ設計を表現している。このアーキテクチャは、すべてのコアが機能的に同一である従来の対称型マルチプロセッシングから逸脱している。基本的主張: Eコアは軽量な計算タスクをパフォーマンスコア(Pコア)から分離することで、システムの応答性を向上させる。Pコアはユーザー向けワークロードに資源を集中させることができる。

-- いいね数
続きを読む
AI・機械学習
2026年2月4日 22:02
Split-screen image contrasting an idealized glowing AI neural network on the left with a chaotic real-world office environment on the right, separated by a gap, illustrating the credibility divide between AI marketing promises and workplace reality

新しい研究がAIモデルを実際のホワイトカラー業務でテスト

最近のベンチマーク評価では、コンサルティング、投資銀行業務、法務サービスから抽出された実際の職場タスクに対して、主要な大規模言語モデル(LLM)が評価されています。これらの評価は、一般的な質問応答を超えて、AIエージェントがドメイン専門知識、クライアントとのやり取り、判断を必要とする複数ステップの高リスクな専門業務を実行できるかどうかを測定します。主張: 現在のAIモデルは、マーケティングの物語と運用準備状況の間に信頼性のギャップがあります。

-- いいね数
続きを読む
Three transparent blocks of decreasing size representing neural network quantization, showing the compression from 32-bit to lower precision formats with glowing node connections in blue, orange, and green against a dark background

量子化を実用的なデプロイメントの手段として

量子化は、重みパラメータの数値精度を元の表現—通常は32ビット浮動小数点(FP32)または16ビット(FP16)—から、8ビット整数(INT8)、4ビット、または2ビット表現などのより低精度のフォーマットに削減するモデル圧縮技術です。理論的基盤は、ニューラルネットワークの重みが大きな冗長性を示すという経験的観察に基づいています。多くのパラメータは、モデル能力の比例的な損失なしに、削減された精度で表現できます(Gholami et al., 2021)。

-- いいね数
続きを読む
AI・機械学習
2026年1月26日 13:02
A digital neural network visualization with streams of light in various colors and thicknesses radiating outward, representing the imbalanced representation of different languages in AI training data, with one dominant bright stream and multiple dimmer streams containing characters from diverse writing systems

言語モデルは言語と文化を絡み合わせる

言語モデルは、英語以外の言語において体系的なパフォーマンス低下を示しており、この現象は複数の実証研究で文書化されている(Ahuja et al., 2023; Adelani et al., 2021)。ユーザーがスペイン語、中国語、アラビア語、ヒンディー語でモデルに問い合わせると、英語での出力と比較して、応答の正確性、一貫性、文化的関連性において測定可能な低下が発生する。このパターンは、文書化されたトレーニングデータの不均衡を反映している。

-- いいね数
続きを読む
AI・機械学習
2026年1月22日 17:21
A modern digital illustration showing musical notation with chord symbols on the left blending into neural network visualization on the right, representing the integration of music theory and AI analysis in compositional reasoning

CSyMR: MIRツール統合による作曲的記号音楽推論のベンチマーク

大規模言語モデルは、制約された音楽分析タスク(例:和音識別、音階分類、単一小節コンテキストにおける和声機能ラベリング)において測定可能な能力を示してきた。しかし、MIR(音楽情報検索)評価フレームワークを含む既存の音楽推論ベンチマークは、分析次元間の統合を必要とせず、孤立した原子的知識を主に評価している。この制限は、ベンチマーク設計と専門的な音楽実践との間の根本的な不一致を反映している。

-- いいね数
続きを読む
AI・機械学習
2026年1月20日 10:01
Split visualization contrasting structured syntax tree diagrams on the left with flowing probability distribution waves on the right, representing the difference between human code writing and AI language model token prediction

なぜLLMには後付けではなく、LLM向けに設計された言語が必要なのか

大規模言語モデル、特にトランスフォーマーベースのアーキテクチャは、語彙上の学習された確率分布に条件付けられた逐次的なトークン予測を通じてコードを生成する(Vaswani et al., 2017)。このプロセスは、人間の開発者がコードを書く方法とは根本的に異なる。LLMは生成前に構文木を解析しない。訓練データにおける統計的パターンに基づいて次のトークンを予測する。

-- いいね数
続きを読む
TOPへ