Pythonで高精度な回帰モデルを！GradientBoostingRegressorの仕組みと実践

Python

機械学習で数値予測（回帰）タスクに取り組む際、どのモデルを使えば良いか迷ったことはありませんか？数あるモデルの中でも、高い予測精度を期待できる強力な手法の一つが GradientBoostingRegressor です。

この記事では、Scikit-learnのGradientBoostingRegressorについて、以下の点を初心者にも分かりやすく解説します。

  • GradientBoostingRegressorの基本的な仕組み
  • Python (Scikit-learn)での具体的な使い方
  • 精度を向上させるための主要なハイパーパラメータ

この記事を読めば、GradientBoostingRegressorをあなたの回帰タスクで活用できるようになります。

GradientBoostingRegressorの仕組みを理解する

GradientBoostingRegressorは、勾配ブースティングというアルゴリズムに基づいたアンサンブル学習モデルです。

アンサンブル学習とは、複数の弱い学習器（決定木など）を組み合わせて、一つの強力なモデルを構築する手法です。GradientBoostingRegressorは、決定木を一つずつ順番に追加していくことで、モデルを少しずつ改善していきます。

ここがポイント！ 新しい決定木は、それまでに追加された決定木全体の予測誤差を修正するように学習します。つまり、モデルが苦手な部分を次の学習器が補う、というプロセスを繰り返すことで、全体の予測精度を段階的に高めていくのです。

この「間違いから学ぶ」アプローチにより、GradientBoostingRegressorは非常に高精度な予測モデルを構築できます。

Scikit-learnを使った基本的な使い方

早速、PythonのScikit-learnを使ってGradientBoostingRegressorを使ってみましょう。ここでは、簡単なサンプルデータで学習から予測、評価までの一連の流れを解説します。

1. 必要なライブラリのインポート

まずは、必要なライブラリをインポートします。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error

# Scikit-learn 1.2以降で fetch_california_housing を利用する場合
from sklearn.datasets import fetch_california_housing

2. データセットの準備

今回は、Scikit-learnに用意されているカリフォルニアの住宅価格データセットを使用します。

# カリフォルニア住宅価格データセットの読み込み
california = fetch_california_housing()
X, y = california.data, california.target

# データを学習用とテスト用に分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

3. モデルの学習と予測

GradientBoostingRegressorのインスタンスを作成し、学習データ（X_train, y_train）を使ってモデルを学習（fit）させます。

# モデルのインスタンスを作成
# n_estimators: 決定木の数, random_state: 乱数シード
gbr = GradientBoostingRegressor(n_estimators=100, random_state=42)

# モデルを学習させる
gbr.fit(X_train, y_train)

# テストデータで予測を行う
y_pred = gbr.predict(X_test)

4. モデルの評価

予測結果（y_pred）と実際の値（y_test）を比較して、モデルの性能を評価します。ここでは代表的な評価指標である平均二乗誤差（MSE）を使います。

# 平均二乗誤差 (MSE) を計算
mse = mean_squared_error(y_test, y_pred)
print(f"平均二乗誤差 (MSE): {mse:.4f}")

# RMSE（平方根平均二乗誤差）も計算してみる
rmse = np.sqrt(mse)
print(f"平方根平均二乗誤差 (RMSE): {rmse:.4f}")

これで、GradientBoostingRegressorを使った回帰モデルの構築と評価ができました。非常にシンプルに実装できることが分かりますね。

精度を高める！主要なハイパーパラメータ

GradientBoostingRegressorの真価は、ハイパーパラメータを調整することで発揮されます。ここでは、特に重要な3つのハイパーパラメータを紹介します。

n_estimators

作成する決定木の数を指定します。 この値を大きくするとモデルは複雑になり、学習データへの適合度は上がりますが、大きすぎると過学習（未知のデータに対する精度が悪化する現象）を引き起こす可能性があります。最初は100あたりで試し、モデルの性能を見ながら調整するのが一般的です。

learning_rate (学習率)

各決定木がモデルに与える影響の度合いを調整します。0.0 から 1.0 の間の値を指定します。 learning_rateが小さいほど、一つ一つの決定木の影響が小さくなり、より慎重に学習が進みます。一般的に、learning_rateを小さく設定し、その分n_estimatorsを大きくすると、より汎化性能の高いモデルが作れる傾向にあります。0.1がよく使われる初期値です。

max_depth

個々の決定木の最大の深さを指定します。 この値が大きいほど、個々の決定木はより複雑な関係性を捉えられますが、過学習のリスクも高まります。通常は 3 や 5 といった比較的小さな値に設定することが多いです。

これらのハイパーパラメータは互いに影響し合うため、グリッドサーチなどの手法を使って最適な組み合わせを見つけることが、モデルの精度を最大化する鍵となります。

# ハイパーパラメータを調整した例
gbr_tuned = GradientBoostingRegressor(
    n_estimators=300,      # 木の数を増やす
    learning_rate=0.05,    # 学習率を少し下げる
    max_depth=5,           # 木の深さを少し深くする
    random_state=42
)

gbr_tuned.fit(X_train, y_train)
y_pred_tuned = gbr_tuned.predict(X_test)
mse_tuned = mean_squared_error(y_test, y_pred_tuned)

print(f"チューニング後のMSE: {mse_tuned:.4f}")

まとめ：GradientBoostingRegressorで予測精度を向上させよう

今回は、高精度な回帰モデルであるGradientBoostingRegressorについて、その仕組みから実践的な使い方、主要なハイパーパラメータまでを解説しました。

  • GradientBoostingRegressorは、予測誤差を修正しながら学習を進める強力なアンサンブル学習モデル。
  • Scikit-learnを使えば、数行のコードで簡単に実装できる。
  • n_estimators, learning_rate, max_depth などのハイパーパラメータを調整することで、さらなる精度向上が期待できる。

回帰タスクで高い予測精度が求められる場面に遭遇したら、ぜひ GradientBoostingRegressor を試してみてください。きっと、あなたの強力な武器になるはずです。

コメント

タイトルとURLをコピーしました