領域分割と加法的モデル(決定木・GBDT)

統計的学習理論の観点から見たとき、機械学習モデルは「入力空間をどのように構造化し、その上で予測関数をどのように表現するか」という二つの問いに対する回答として理解できる。第10章では、この問いに対する歴史的かつ体系的な回答の一つである適応的基底関数という視座から、決定木・GBDT・ニューラルネットワークを統一的に論じる。本節 10.1 では、その出発点として領域分割と加法的モデルという二つの原理を詳細に考察する。

領域分割による関数近似の原理

非線形関数 $ f : \mathcal{X} \subseteq \mathbb{R}^d \to \mathbb{R} $ を近似する最も基本的な戦略の一つは、入力空間 $\mathcal{X}$ を複数の部分領域に分割し、各領域上で単純な(典型的には定数または低次多項式の)関数を当てはめることである。この考え方を領域分割(region partition)による関数近似と呼ぶ。

形式的に述べると、入力空間 $\mathcal{X}$ の分割 $\{R_1, R_2, \ldots, R_M\}$($\bigcup_m R_m = \mathcal{X}$、$R_m \cap R_{m'} = \emptyset$ for $m \neq m'$)に対して、予測関数は:

\[f(\boldsymbol{x}) = \sum_{m=1}^{M} c_m \cdot \mathbf{1}[\boldsymbol{x} \in R_m]\]

と表される。ここで $c_m$ は領域 $R_m$ 上での予測値(回帰では平均、分類では多数決クラスなど)、$\mathbf{1}[\cdot]$ は指示関数である。この表現はまさに区分定数関数(piecewise constant function)の形をしており、$M$ を大きくとれば任意の可測関数を任意精度で近似できる(稠密性)。

ただし、この単純な定式化には二つの本質的な問いが潜んでいる。第一は「いかにして $\mathcal{X}$ を分割するか」という分割方法の問題であり、第二は「有限サンプルのもとで何個の領域を設けるべきか」というモデル複雑度の問題である。決定木はこの二問題に対する実践的・理論的に洗練された解答を与える。

決定木:再帰的二分割による領域構成

基本構造と直交分割

決定木(decision tree)は、入力空間を軸平行な超平面(axis-aligned hyperplane)による再帰的二分割で構成される直交直方体の集合に分割する。すなわち、各内部ノードでは特徴 $j$ と閾値 $s$ を用いた分割規則:

\[x_j \leq s \quad \text{(左子ノード)} \qquad x_j > s \quad \text{(右子ノード)}\]

が適用される。葉ノード $m$ に対応する領域 $R_m$ は、各特徴軸に沿った区間の直積として表現される。この分割は軸平行であるため、対角方向の境界や複雑な曲線境界の表現に多くのノードを要するという幾何学的制約が存在する。一方、軸平行分割は解釈性が高く、計算効率にも優れる。

分割基準:不純度の最小化

決定木の学習は、訓練データ $\{(\boldsymbol{x}_i, y_i)\}_{i=1}^n$ に対して最適な分割を貪欲に(greedy に)探索することで行われる。ノード $t$ における領域 $R_t$ の不純度(impurity)を $Q(t)$ とするとき、特徴 $j$ と閾値 $s$ による分割の不純度削減量(impurity decrease)は:

\[\Delta Q(j, s) = Q(t) - \frac{|R_t^L|}{|R_t|} Q(t^L) - \frac{|R_t^R|}{|R_t|} Q(t^R)\]

であり、これを最大化する $(j^*, s^*)$ を選択する。ここで $R_t^L = \{\boldsymbol{x} \in R_t : x_j \leq s\}$、$R_t^R = \{\boldsymbol{x} \in R_t : x_j > s\}$ であり、$|R_t|$ は $R_t$ に含まれる訓練サンプル数を表す。

不純度 $Q(t)$ の代表的な選択は以下の通りである。

回帰木(MSE 基準):

\[Q(t) = \frac{1}{|R_t|} \sum_{i \in R_t} \left(y_i - \bar{y}_t\right)^2, \qquad \bar{y}_t = \frac{1}{|R_t|}\sum_{i \in R_t} y_i\]

分類木 — ジニ不純度(Gini impurity):

\[Q(t) = \sum_{k=1}^{K} \hat{p}_{tk}(1 - \hat{p}_{tk}) = 1 - \sum_{k=1}^{K} \hat{p}_{tk}^2\]

分類木 — 情報利得(Entropy / Information Gain):

\[Q(t) = -\sum_{k=1}^{K} \hat{p}_{tk} \log \hat{p}_{tk}\]

ここで $\hat{p}_{tk} = |R_t \cap C_k| / |R_t|$ はノード $t$ におけるクラス $k$ の経験的確率、$K$ はクラス数である。ジニ不純度は計算効率が良く、情報利得は Shannon 情報理論に根拠を持つ。両者は実用上ほぼ同等の結果をもたらすことが多い。

葉ノードの予測値

葉ノード $m$ における予測値 $c_m$ は、当該ノードに含まれる訓練サンプルの目的変数から決定される。回帰問題では損失関数に応じて:

\[c_m = \underset{c}{\arg\min} \sum_{i \in R_m} L(y_i, c)\]

となる。二乗損失 $L(y, c) = (y-c)^2$ では $c_m = \bar{y}_m$(算術平均)、絶対値損失 $L(y, c) = |y - c|$ では $c_m = \mathrm{median}(y_i : i \in R_m)$(中央値)、Huber 損失ではこれらの折衷となる。分類問題では $c_m$ としてクラス確率ベクトル $(\hat{p}_{m1}, \ldots, \hat{p}_{mK})$ を出力し、多数決クラスは $\arg\max_k \hat{p}_{mk}$ となる。

木の複雑度制御:剪定

貪欲な分割を繰り返せば訓練データを完全に記憶する(過学習する)木が得られる。これを防ぐための事後剪定(post-pruning)の代表的手法がコスト複雑度剪定(cost-complexity pruning; CCP)である。木 $T$ に対して、葉ノード数 $|T|$ をペナルティとした規制化損失:

\[C_\alpha(T) = \sum_{m=1}^{|T|} \sum_{i \in R_m} L(y_i, c_m) + \alpha |T|\]

を定義し、これを最小化する部分木を選択する。ハイパーパラメータ $\alpha \geq 0$ は複雑度ペナルティの強度であり、$\alpha = 0$ では完全な木、$\alpha \to \infty$ では根ノードのみの木が選択される。$\alpha$ の選択にはクロスバリデーションが用いられる。この定式化は統計的学習理論における構造的リスク最小化(SRM)の具体的な実現に他ならない。

事前剪定(pre-pruning)としては、最小サンプル数閾値($|R_t| < n_{\min}$ で分割停止)、最大深さ制限($\mathrm{depth}(t) > d_{\max}$ で停止)、不純度削減量の下限閾値($\Delta Q < \varepsilon$ で停止)などが用いられる。

決定木の統計的性質

決定木は高いバイアス–分散トレードオフを持つ。浅い木は近似誤差(バイアス)が大きく、深い木は推定誤差(分散)が大きい。特に単一の深い決定木は高分散推定量であり、訓練データの微小な変化に対して木構造が大きく変動する不安定性を持つ。この不安定性は、後述のアンサンブル法(バギング・ブースティング)による分散削減の動機となる。

補足:CART アルゴリズム

Breiman ら(1984)による CART(Classification and Regression Trees)は、上記の貪欲二分割 + コスト複雑度剪定を体系化したアルゴリズムである。sklearn の DecisionTreeClassifier / DecisionTreeRegressor は CART に基づいて実装されている。ID3(Quinlan, 1986)および C4.5 は情報利得に基づく多分岐木を構築し、連続値特徴の処理や欠損値への対応で CART と異なる設計選択を持つ。

加法的モデルの枠組み

決定木の限界(高分散、境界の不連続性)を克服するために、複数の「弱い」基底モデル(base learner)を組み合わせた加法的モデル(additive model)が発展した。加法的モデルの一般形は:

\[F(\boldsymbol{x}) = \sum_{m=1}^{M} \beta_m h_m(\boldsymbol{x})\]

と書ける。ここで $h_m : \mathcal{X} \to \mathbb{R}$ は基底関数(basis function)または弱学習器(weak learner)、$\beta_m \in \mathbb{R}$ はその重みである。この形式は一般化加法モデル(GAM)、スプライン回帰、ニューラルネットワーク(活性化関数の線形結合)などを包含する統一的な記述枠組みを提供する。

基底関数 $h_m$ として決定木を採用したとき、その加法的モデルがツリーアンサンブル(tree ensemble)である。ツリーアンサンブルには大別して二つの構成原理がある。

原理代表手法基底の構成法バイアス削減分散削減
バギング(Bagging)ランダムフォレスト並列・独立小大
ブースティング(Boosting)AdaBoost, GBDT, XGBoost逐次・残差適応大中

本節では後者のブースティング、特に勾配ブースティング決定木(Gradient Boosted Decision Trees; GBDT)を詳細に論じる。バギングおよびランダムフォレストとの比較は 10.1.6 節で扱う。

ブースティングの起源:AdaBoost

ブースティングの概念は Schapire(1990)および Freund-Schapire(1997)によるAdaBoostから始まる。AdaBoost は弱学習器の仮定(random guess よりわずかに良い分類器)のもとで、強学習器を構成できることを示した最初のアルゴリズムである。

AdaBoost は分類問題 $y_i \in \{-1, +1\}$ において、訓練サンプルへの重み $w_i^{(m)}$ を逐次更新しながら弱学習器 $h_m$ を学習する。第 $m$ ステップでの更新則は:

\[w_i^{(m+1)} = w_i^{(m)} \exp\!\left(-\alpha_m y_i h_m(\boldsymbol{x}_i)\right), \qquad \alpha_m = \frac{1}{2}\log\frac{1 - \epsilon_m}{\epsilon_m}\]

ここで $\epsilon_m = \sum_i w_i^{(m)} \mathbf{1}[h_m(\boldsymbol{x}_i) \neq y_i]$ は重み付き誤り率である。誤分類されたサンプルの重みが増加し、次の弱学習器はより困難なサンプルに注目することを強制される。最終出力は:

\[F(\boldsymbol{x}) = \text{sign}\!\left(\sum_{m=1}^{M} \alpha_m h_m(\boldsymbol{x})\right)\]

Friedman-Hastie-Tibshirani(2000)は AdaBoost が指数損失 $L(y, F) = \exp(-yF)$ を前向き逐次加法的モデリング(Forward Stagewise Additive Modeling; FSAM)によって最小化していることを示した。この統計的解釈がGBDT理論の出発点となった。

GBDT:汎関数勾配降下法としての定式化

前向き逐次加法的モデリング

GBDT の理論的基礎は、Friedman(2001)による汎関数勾配降下法(functional gradient descent)の解釈にある。目標は損失関数の期待値:

\[\mathbb{E}\bigl[L(y, F(\boldsymbol{x}))\bigr]\]

を最小化する $F$ を見つけることだが、これを有限データ上の経験損失 $\sum_{i=1}^n L(y_i, F(\boldsymbol{x}_i))$ の最小化として扱う。関数空間 $\mathbb{R}^n$(各訓練点での $F$ の値のベクトル)上で勾配降下法を実行する発想が GBDT の核心である。

逐次的なモデル構築の各ステップ $m$ において、現在のモデル $F_{m-1}(\boldsymbol{x})$ に対する擬似残差(pseudo-residual)を:

\[r_i^{(m)} = -\left[\frac{\partial L(y_i, F(\boldsymbol{x}_i))}{\partial F(\boldsymbol{x}_i)}\right]_{F = F_{m-1}}\]

と定義する。これは損失関数の(負の)勾配であり、現在のモデルが最も改善すべき方向を示している。

GBDTアルゴリズムの詳細

アルゴリズム:勾配ブースティング(Friedman, 2001)

入力:訓練データ $\{(\boldsymbol{x}_i, y_i)\}_{i=1}^n$、損失関数 $L$、弱学習器クラス $\mathcal{H}$(深さ $d$ の決定木)、反復回数 $M$、学習率 $\nu$

1. 初期化:

\[ F_0(\boldsymbol{x}) = \underset{\gamma}{\arg\min} \sum_{i=1}^n L(y_i, \gamma) \]

(定数モデル。二乗損失では $\bar{y}$、対数損失では対数オッズ)

2. 反復($m = 1, 2, \ldots, M$):

(a)擬似残差の計算:

\[ r_i^{(m)} = -\frac{\partial L(y_i, F(\boldsymbol{x}_i))}{\partial F(\boldsymbol{x}_i)}\bigg|_{F = F_{m-1}}, \quad i = 1, \ldots, n \]

(b)木の当てはめ:決定木 $h_m$ を $\{(\boldsymbol{x}_i, r_i^{(m)})\}$ に対して学習し、葉領域 $\{R_{jm}\}_{j=1}^{J_m}$ を得る

(c)葉ごとの最適ステップ幅(line search):

\[ \gamma_{jm} = \underset{\gamma}{\arg\min} \sum_{i \in R_{jm}} L\!\left(y_i,\; F_{m-1}(\boldsymbol{x}_i) + \gamma\right) \]

(d)モデルの更新:

\[ F_m(\boldsymbol{x}) = F_{m-1}(\boldsymbol{x}) + \nu \sum_{j=1}^{J_m} \gamma_{jm} \cdot \mathbf{1}[\boldsymbol{x} \in R_{jm}] \]

3. 出力:$F_M(\boldsymbol{x})$

損失関数と擬似残差の具体形

損失関数の選択によって擬似残差の形が決まり、それが GBDT の性質を支配する。主要な損失関数と対応する擬似残差を以下に示す。

問題損失関数 $L(y, F)$擬似残差 $r_i = -\partial L / \partial F$備考
回帰 $\tfrac{1}{2}(y - F)^2$ $y_i - F(\boldsymbol{x}_i)$(真の残差) 外れ値に敏感
回帰(ロバスト) Huber 損失 $y_i - F(\boldsymbol{x}_i)$(小)、$\delta \cdot \mathrm{sign}(r)$(大) 外れ値に頑健
回帰(ロバスト) $|y - F|$(MAE) $\mathrm{sign}(y_i - F(\boldsymbol{x}_i))$ 中央値回帰に対応
二値分類 $\log(1 + e^{-2yF})$(対数損失) $2y_i / (1 + e^{2y_i F(\boldsymbol{x}_i)})$ $F$ は対数オッズの半値
二値分類 $e^{-yF}$(指数損失) $y_i e^{-y_i F(\boldsymbol{x}_i)}$ AdaBoost に帰着
多クラス分類 多項対数損失(softmax) $\hat{p}_{ik} - \mathbf{1}[y_i = k]$(残差確率) クラスごとに木を構築
ランキング LambdaRank 損失 順位を考慮した勾配 LightGBM, XGBoost で対応

二乗損失の場合、擬似残差は真の残差 $y_i - F_{m-1}(\boldsymbol{x}_i)$ に一致する。これは直観と整合的であり、各ステップで「現在のモデルが説明できていない部分」を新たな木で学習することを意味する。一般の損失関数では擬似残差は真の残差ではなく、損失の勾配として解釈される。

加法的モデルとしての最終表現

$M$ 回の反復後、GBDT の最終モデルは:

\[F_M(\boldsymbol{x}) = F_0(\boldsymbol{x}) + \nu \sum_{m=1}^{M} \sum_{j=1}^{J_m} \gamma_{jm} \cdot \mathbf{1}[\boldsymbol{x} \in R_{jm}]\]

という形の加法的モデルである。各木 $h_m(\boldsymbol{x}) = \sum_j \gamma_{jm} \mathbf{1}[\boldsymbol{x} \in R_{jm}]$ は決定木の形の基底関数であり、GBDT はこれらの区分定数関数の重み付き和として予測を行う。この加法的構造は解釈性(SHAP 値等による寄与分解)の基盤となる。

正則化:過学習の制御

GBDT は非常に強力なモデルであるがゆえに過学習しやすい。実用上重要な正則化手段を以下に整理する。

学習率(縮小)

学習率 $\nu \in (0, 1]$(shrinkage とも呼ばれる)は各木の寄与をスケールダウンし、より多くの木を必要とする代わりに汎化性能を改善する。$\nu$ と木の数 $M$ の間には強いトレードオフがあり、通常は $\nu = 0.01 \sim 0.1$ を設定して $M$ を早期打ち切り(early stopping)で決定する。理論的には、$\nu \to 0$(かつ $M \to \infty$)の極限で連続的な汎関数勾配流に収束する。

部分標本化(Stochastic Gradient Boosting)

Friedman(2002)は各ステップで訓練データの部分集合 $\eta \in (0, 1]$ をランダムにサンプリングして木を学習する確率的勾配ブースティング(Stochastic GBM)を提案した。これは分散を削減しつつ計算コストを低下させ、実験的に汎化性能を向上させることが多い。特徴のサブサンプリング(特徴バギング)も同様の効果を持つ。

木の深さと葉ノード数

各弱学習器の木の深さ $d$(または葉ノード数 $J$)は GBDT において最重要のハイパーパラメータの一つである。$d = 1$ の木(決定株; decision stump)は単一の分割しか行わず、モデルは主効果のみの加法的モデルとなる。深さ $d$ の木は最大 $d$ 次の特徴間相互作用を捉えることができる。通常 $d = 3 \sim 6$ が実用的なデフォルトとして推奨される。

葉ノードの最小サンプル数と $\ell_2$ 正則化

葉ノードに含まれる最小サンプル数の下限設定(例:min_samples_leaf = 20)は、分割の過細化を防ぐ。XGBoost および LightGBM では葉の重み $\gamma_{jm}$ に対する $\ell_2$ 正則化項を損失関数に加える:

\[\tilde{L}^{(m)} = \sum_{j=1}^{J_m}\left[ G_j \gamma_j + \frac{1}{2}(H_j + \lambda)\gamma_j^2 \right] + \gamma |T|\]

ここで $G_j = \sum_{i \in R_j} g_i$(勾配の和)、$H_j = \sum_{i \in R_j} h_i$(ヘッセの和)であり、最適解析解が $\gamma_j^* = -G_j / (H_j + \lambda)$ として閉形式で得られる。これが XGBoost における2次近似に基づくブースティングの核心であり、スコアゲインの厳密な計算を可能にする。

XGBoost・LightGBM・CatBoost:現代的実装の要点

XGBoost(eXtreme Gradient Boosting)

Chen-Guestrin(2016)による XGBoost は、上述の2次近似の採用に加えて、系統的な列ブロック構造による計算効率化、分散並列処理、疎行列への対応、重み付き分位点スケッチによる近似分割探索を実現した。特にスコアゲイン(gain)による分割選択:

\[\text{Gain} = \frac{1}{2}\left[\frac{G_L^2}{H_L + \lambda} + \frac{G_R^2}{H_R + \lambda} - \frac{(G_L + G_R)^2}{H_L + H_R + \lambda}\right] - \gamma\]

は損失の厳密な二次近似に基づいており、従来のGBDTよりも精度が高く安定した分割選択を実現する。

LightGBM

Microsoft による LightGBM(Ke et al., 2017)は二つの主要な革新を導入した。GOSS(Gradient-based One-Side Sampling)は勾配の絶対値が大きいサンプルを優先的に保持し、小さいサンプルをサブサンプリングすることで、情報損失を最小化しつつ計算を高速化する。EFB(Exclusive Feature Bundling)は相互排他的な疎特徴(同時に非ゼロになることがない特徴同士)を結合して実効的な特徴数を削減する。またLightGBMは深さ優先でなく葉優先(leaf-wise)の木成長戦略を採用しており、同じ葉数でも CART の水準優先(level-wise)成長より損失を大きく削減できる一方、過学習しやすいという特性もある。

CatBoost

Yandex による CatBoost(Prokhorenkova et al., 2018)はカテゴリ特徴の自動的な Target Encoding と順序付きブースティング(ordered boosting)の導入で差別化される。順序付きブースティングは各標本の擬似残差を計算する際に当該標本を含む木に基づいて計算することによる予測シフト(prediction shift)バイアスを回避し、より正確な勾配推定を実現する。

GBDTの統計的性質と理論

収束解析

ブースティングの収束理論は複数のアプローチから展開されている。Bühlmann-Yu(2003)は$\ell_2$ ブースティングの統計的性質を解析し、反復回数 $M$ が正則化パラメータとして機能することを示した。すなわち $M$ を早めに打ち切ることは Tikhonov 正則化に相当する暗黙の正則化効果を持つ。

ブースティングの訓練誤差の上界については、指数損失の場合に:

\[\frac{1}{n}\sum_{i=1}^n \mathbf{1}[F_M(\boldsymbol{x}_i) \neq y_i] \leq \frac{1}{n}\sum_{i=1}^n e^{-y_i F_M(\boldsymbol{x}_i)} = \prod_{m=1}^M Z_m\]

が成立し($Z_m = 2\sqrt{\epsilon_m(1-\epsilon_m)} \leq 1$ は正規化定数)、弱学習条件 $\epsilon_m \leq 1/2 - \gamma$ のもとで訓練誤差が指数的に $(1-2\gamma^2)^{M/2}$ のレートで0に収束することが示される。

マージン理論とバイアス–分散分解

バギング(ランダムフォレスト)との比較において、GBDT はバイアス削減に優れ、バギングは分散削減に優れる。より正確に述べると、GBDT の各ステップで追加される木は前のモデルの「誤り」に集中するため逐次的バイアス削減として機能するが、各木が高度に相関するため(全て同じ擬似残差を目標とする)分散はバギングほど小さくならない。

Schapire ら(1998)のマージン理論によると、AdaBoost(および指数損失ブースティング)の汎化性能は訓練データに対するマージン分布で評価できる。マージン $\rho_i = y_i F(\boldsymbol{x}_i) / \|F\|$ の分布が十分に大きければ、たとえ木の数が多くとも汎化性能が維持されることが保証される。これは「過学習しにくい」という経験的観察の理論的根拠の一つとなっている。

特徴量重要度

GBDT はモデルの学習過程から自然に特徴量重要度(feature importance)を算出できる。代表的な指標として、(i)各特徴が分割に用いられた回数(frequency)、(ii)各分割による不純度削減量の累計(gain)、(iii)Permutation Importance(テストデータ上で特徴をシャッフルしたときの性能低下量)、(iv)SHAP(SHapley Additive exPlanations)値がある。

特に SHAP 値は加法的モデルの構造を利用した厳密な Shapley 値の高速計算アルゴリズムであり、ツリーアンサンブルに対して $\mathcal{O}(TLD)$($T$:木の数、$L$:葉数、$D$:深さ)で計算できる(Lundberg et al., 2020)。SHAP はゲーム理論の Shapley 値の公理(効率性・対称性・ダミー・加法性)を満足する唯一の寄与分解であり、モデルの局所的および大局的解釈性の標準的手法となっている。

バギング・ランダムフォレストとの比較

バギング(Bootstrap Aggregating; Breiman, 1996)は、ブートストラップ標本から学習した複数の木の平均を取ることで分散を削減する:

\[F_{\text{bag}}(\boldsymbol{x}) = \frac{1}{M}\sum_{m=1}^{M} h_m(\boldsymbol{x})\]

ランダムフォレスト(Breiman, 2001)はバギングに特徴のランダム選択(各分割で $\sqrt{d}$ 個の特徴をランダムに選ぶ)を加えることで木間の相関をさらに低下させ、分散削減効果を高める。

GBDT とランダムフォレストを比較すると以下の通りである。

特性GBDTランダムフォレスト
木の構築逐次(前の木の残差に依存)並列・独立
主たる誤差削減バイアス削減分散削減
過学習しやすい(慎重な調整が必要)しにくい(頑健)
ハイパーパラメータ多い($M, \nu, d, \eta$ 等)比較的少ない(主に $M, d$)
並列化木の並列化不可(特徴並列は可)完全並列化可能
予測性能構造化データで一般に高い高いが GBDT に次ぐことが多い
欠損値への耐性XGBoost では自動対応実装依存

加法的モデルの表現能力と限界

ツリーアンサンブルとしての GBDT は、数学的には任意の連続関数を任意精度で近似できる普遍近似能力を持つ(石積みモデルとしての稠密性)。しかし、その近似は区分定数関数の加法として構成されるため以下の本質的な限界がある。

第一に、外挿(extrapolation)の限界である。GBDT の出力は訓練データが存在する領域では区分定数近似として機能するが、訓練領域の外では最も近い葉の予測値を返すにすぎず、データ生成過程の外挿を行う能力がない。これはニューラルネットワーク(特に活性化関数が線形成長を持つもの)と対照的である。

第二に、高次元での次元の呪いである。軸平行分割による領域分割は、高次元空間での滑らかな境界を表現するためには指数的に多くの分割を必要とする場合がある。

第三に、滑らかさの欠如である。決定木による区分定数関数は至る所で不連続な勾配を持つ。勾配情報を利用する後段の処理(例:連続最適化への組み込み)には不向きである。この点で、スプラインやカーネル法、ニューラルネットワーク(次節以降で論じる)との本質的な差異がある。

第四に、表現の非分解可能性である。GBDT の加法的表現は各木が複雑な交互作用を含む場合、単純な特徴量の寄与分解(加法的分解)が困難になる。この点で一般化加法モデル(GAM)との使い分けが問題になる。

本節で論じた決定木・GBDT は、入力空間のデータ適応的な領域分割によって関数近似を実現する加法的モデルとして理解できる。この視点から眺めると、固定基底との本質的な差異は「基底関数がデータから学習されるか否か」に帰着する。さらに、ニューラルネットワークはこの考えを極限まで推し進め、基底関数そのものを多層の非線形変換によって動的に学習する機構として位置づけられる。決定木が軸平行な超平面によるハードな領域分割を行うのに対し、ニューラルネットワークの各ニューロンは活性化関数によるソフトな分割を実現し、深さを増すことで指数的に豊かな特徴空間を構成する。

Mathematics is the language with which God has written the universe.





















数理統計学 機械学習