機械学習

第I部　統計的学習の基礎と最適化

第1章　機械学習の数理的枠組み

• 1.1 統計的学習理論の基本構造
• 1.2 経験リスク最小化と構造的リスク最小化
• 1.3 汎化誤差と過学習

第2章　確率論と統計的推論

• 2.1 測度論的確率の基礎
• 2.2 推定（最尤・ベイズ）
• 2.2 仮説検定と情報量基準

第3章　最適化理論

• 3.1 凸最適化と双対性
• 3.2 確率的勾配法
• 3.3 正則化とスパース推定

第II部　線形モデルと多変量解析

第4章　線形モデルと一般化線形モデル

• 4.1 回帰分析と正則化
• 4.2 ロジスティック回帰
• 4.3 指数型分布族

第5章　多変量解析

• 5.1 主成分分析（PCA）
• 5.2 因子分析
• 5.3 判別分析（LDA/QDA）
• 5.4 正準相関分析（CCA）

第III部　カーネル法と関数空間の理論

第6章　正定値カーネルと再生核ヒルベルト空間

• 6.1 カーネル関数と特徴写像
• 6.2 メルサーの定理
• 6.3 再生核ヒルベルト空間（RKHS）の構造
• 6.4 表現定理（Representer Theorem）

第7章　カーネル化された多変量解析

• 7.1 カーネル主成分分析（KPCA）
• 7.2 カーネル正準相関分析（KCCA）
• 7.3 カーネル判別分析（KDA）
• 7.4 最大平均偏差（MMD）と分布比較

第8章　カーネル法による学習アルゴリズム

• 8.1 サポートベクターマシン
• 8.2 ガウス過程回帰
• 8.3 カーネル密度推定

第IV部　ニューラルネットワークと表現学習

第9章　ニューラルネットワークの基礎と発展

• 9.1 パーセプトロンと多層ネットワーク
• 9.2 誤差逆伝播法
• 9.3 活性化関数
• 9.4 畳み込みニューラルネットワーク（CNN）
• 再帰型ニューラルネットワーク（RNN）
• LSTMとGRU

第10章　適応的基底関数としてのニューラルネットワーク

• 10.1 領域分割と加法的モデル（決定木・GBDT）
• 10.2 固定基底（カーネル・スプライン）との比較
• 10.3 学習基底としてのNN
• 10.4 特徴空間の動的構成

第11章　深層表現の理論

• 11.1 関数合成としての深層構造
• 11.2 表現能力と近似定理
• 11.3 Depth Efficiency（深さの優位性）

第V部　カーネル法とニューラルネットワークの統一理論

第12章　無限幅ネットワークとガウス過程

• 12.1 ニューラルネットワークとガウス過程の等価性（NNGP）
• 12.2 ベイズ的解釈
• 12.3 不確実性の定量化

第13章　ニューラルタンジェントカーネル（NTK）

• 13.1 勾配降下法と線形化
• 13.2 NTKの導出と性質
• 13.3 Lazy Training（遅延学習）とFeature Learning（特徴学習）

第14章　潜在変数モデル

• 14.1 潜在変数モデル
• 14.2 EMアルゴリズム
• 14.2 変分推論 平均場近似による事後分布の推定 座標上昇型変分推論（CAVI）

第VI部　深層生成モデルと確率的学習

第15章　変分オートエンコーダ（VAE）

• 15.1 ニューラルネットワークによる変分推論
• 15.2 生成モデルの深層学習的定式化
• 15.3 再パラメータ化トリック
• 15.4 VAEの特性と発展

第16章　GANと拡散モデル

• 16.1 ミニマックス最適化（GANの理論的基盤）
• 16.2 敵対的生成ネットワーク（GANの実装と展開）
• 16.3 スコアベース生成モデル（拡散モデルの理論的基盤）
• 16.4 拡散確率モデル（DDPMとその応用）

第VII部　基盤モデルと大規模学習

第17章：トランスフォーマーの基礎と数理

• 17.1 Self-Attention機構（Q, K, Vの基本）
• 17.2 エンコーダ・デコーダ構造
• 17.3 アテンションのカーネル的解釈
• 17.4 計算効率化の数理（FlashAttention等）

Mathematics is the language with which God has written the universe.