正則化 | Tags | Autognosis

AI・機械学習

2026年5月22日 15:59

A three-dimensional mathematical loss landscape showing the same valley appearing both flat and sharp from different viewing angles, illustrating how parameterization affects the perception of flatness in neural network optimization

フラットな最小値は幻想なのか

フラットな最小値は幻想なのかフラットネスのパラドックス：損失ランドスケープの幾何学が測定アーティファクトになるとき主張：フラットな最小値がより良い汎化と相関するという広く信じられている見方は、モデル自体の根本的な性質ではなく、パラメータ化の選択によって生じた幻想に基づいているかもしれません。根拠：ニューラルネットワークの損失ランドスケープは座標に依存しません。損失関数 $\mathcal{L}(\theta)$ はパラメータ化 $...

#機械学習 #最適化アルゴリズム #深層学習

AI・機械学習

2026年3月30日 22:13

Abstract visualization of neural network computation showing a curved 3D data manifold with geometric grid lines, contrasting fragmented angular pieces representing traditional activation functions with smooth continuous surfaces representing unified geometric operations, rendered in blues, cyans, and purples against a dark background

DeLuLuはもう不要：物理学にインスパイアされたカーネルネットワークによる幾何学的に根拠づけられたニューラル計算

DeLuLuはもう不要：物理学にインスパイアされたカーネルネットワークによる幾何学的に根拠づけられたニューラル計算深層学習における活性化関数の危機現代の深いニューラルネットワークは計算を標準化されたパイプラインに分解しています。線形変換、非線形活性化、正規化層です。このアーキテクチャパターンは原理的な導出ではなく経験的観察から生まれました。広く採用されている活性化関数（ReLU（整流線形ユニット）、GELU（ガウス誤差線形ユニット）およびそれらの変種）...

#深層学習 #ニューラルネットワークアーキテクチャ #カーネル法

#正則化

フラットな最小値は幻想なのか

DeLuLuはもう不要：物理学にインスパイアされたカーネルネットワークによる幾何学的に根拠づけられたニューラル計算