数行のコードで機械学習ができる PyCaret のチュートリアルを試してみた 回帰分析 その2

PyCaret とは

PyCaret is an open-source, low-code machine learning library in Python that automates machine learning workflows. https://pycaret.org/

回帰分析のチュートリアル

このチュートリアルで学ぶこと

このチュートリアルでは、pycaret.regressionモジュールを使って、以下のことを学びます。

• Normalization: データセットを正規化し、スケーリングする方法 Transformation: データを線形かつ近似的に正規化するための変換を適用する方法
• Target Transformation: ターゲット変数に変換を適用する方法
• Combine Rare Levels:* Bin Numeric Variables: 数値変数をビンに入れ、「sturges」ルールを使用して数値特徴をカテゴリーに変換する方法
• Model Ensembling and Stacking:** Bagging、Boosting、Voting、Generalized Stackingなどのアンサンブル技術を使用して、モデルのパフォーマンスを向上させる方法。
• Experiment Logging: MLFlowバックエンドを使ったPyCaretでの実験ログの取り方 この記事では MLFlow の部分は省略します。

PyCaret のインストール

正規化： 正規化/スケーリング（標準化と同じ意味で使われることが多い）は、機械学習に役立つ特性を提供する方法で、数値変数の実際の値を変換するために使用されます。線形回帰、サポートベクターマシン、K Nearest Neighborsなどの多くのアルゴリズムは、すべての特徴がゼロを中心とし、同じレベルのオーダーの分散を持つことを前提としています。データセット内の特定の特徴が、他の特徴よりも大きいオーダーの分散を持っている場合、モデルはすべての特徴を正しく理解していない可能性があり、パフォーマンスが低下する可能性があります。

変換： 正規化が分散の大きさの影響を取り除くためにデータの範囲を変換するのに対し、変換は、変換されたデータが正規または近似正規分布で表現できるように分布の形を変えるという、より根本的な手法です。一般に、正規性やガウス分布を仮定したアルゴリズムを使用する場合は、データを変換する必要があります。このようなモデルの例としては、線形回帰、ラッソ回帰、リッジ回帰などがあります。

Target Transformation: これは上で説明したtransformationテクニックと似ていますが、例外的にこれはターゲット変数にのみ適用されます。

Combine Rare Levels: カテゴリー特徴には、頻度分布では重要でないレベルがあることがあります。このような場合、学習用のサンプルサイズが限られているため、データセットにノイズをもたらす可能性があります。稀なレベルを扱う1つの方法は、それらを新しいクラスに結合することです。

数値変数のビン化： ビン化または離散化は、数値変数をカテゴリー特徴に変換するプロセスです。例えば、この実験では「カラットの重さ」を例に挙げています。これは数値の連続的な分布で、間隔に離散化することができます。ビン化は、データのノイズや非線形性を低減することで、予測モデルの精度を向上させることができます。PyCaretでは、Sturgesルールを用いて、ビンの数とサイズを自動的に決定します。

モデルのアンサンブルとスタッキング: アンサンブルモデリングとは、ある結果を予測するために複数の多様なモデルを作成するプロセスです。これは、多くの異なるモデリングアルゴリズムを使用するか、またはトレーニングデータセットの異なるサンプルを使用することによって達成されます。そして、アンサンブルモデルは、各ベースモデルの予測を集約し、未見のデータに対する最終的な予測を1つにまとめます。アンサンブルモデルを使用はる動機は、予測の汎化誤差を低減することにあります。ベースモデルが多様で独立している限り、アンサンブルアプローチを使用すると、モデルの予測誤差は減少します。アンサンブル学習で最も一般的な手法はBaggingとBoostingです。スタッキングもアンサンブル学習の一種であり、複数のモデルからの予測値を、最終的な結果を予測するメタモデルの入力特徴として使用します。

Tuning Hyperparameters of Ensemblers: 単一の機械学習モデルのハイパーパラメータのチューニングと同様に、アンサンブルモデルのハイパーパラメータのチューニング方法も学びます。

データの取得

このプロファイルが、データの重要な前処理の選択にどのように役立ったかをまとめてみましょう。

• Missing Values: データには欠損値がありません。しかし、新しい未見のデータに欠損値がある場合に備えて、パイプラインにはインプータが必要です（今回は該当しません）。setup()関数を実行すると，インピュータが自動的に作成され，パイプラインに保存されます．デフォルトでは，数値に対しては平均インプータを，カテゴリに対しては定数インプータを使用します。これは、setup()のnumeric_imputationとcategorical_imputationのパラメータを使って変更できます。
• Combine Rare Levels: データセット内の Clarity フィーチャーの分布に注目してください。7つの異なるクラスがありますが、そのうち FL は4回しか現れません。同様に、Cut特徴においても、Fairレベルはトレーニングデータセットの中で2.1%の頻度でしか現れません。ここでは、設定にある「combine_rare_categories」パラメータを使って、レアなレベルを組み合わせることにします。
• データのスケール／範囲： 「Carat Weight」のスケール／範囲が「Price」の変数と大きく異なることに注目してください。Carat Weightは0.75から2.91の範囲であるのに対し、Priceは2,184から101,561までの範囲となっています。
• Target Transformation: ターゲット変数 Price は正規分布ではありません。尖り度が高く、右に傾いています。ターゲット変数に線形変換を適用するために、セットアップのtransform_targetパラメータを使用します。
• 数値特徴の抽出： Carat Weight は唯一の数値特徴です。そのヒストグラムを見ると、分布は自然な切れ目があるように見えます。ビン化することで、カテゴライズされた特徴に変換し、`sturges' ruleを用いていくつかのレベルを作成します。これにより、線形アルゴリズムのノイズを取り除くことができます。

セットアップと前処理

モデルの比較

比較のために，「RMSLE」スコアを使用します．setup()`でいくつかの前処理を行った後、いくつかのアルゴリズムがどれほど劇的に改善されたかに注目してください。

• 線形回帰 RMSLE が 0.6690 から 0.0973 に改善
• リッジ回帰 RMSLE が 0.6689 から 0.0971 に改善
• Huber 回帰 RMSLE が 0.4333 から 0.0972 に改善

モデルの作成

ここでは、便利な他のいくつかのパラメータについて学びます。このセクションでは、5フォールドのクロスバリデーションを使用してすべてのモデルを作成します。これを実現するために、create_model()の中でfoldパラメータを渡していることに注目してください。

Create Model (with 5 Fold CV)

Create Model (Metrics rounded to 2 decimals points)

Create Model (KNN)

モデルのチューニング

前回のチュートリアル Regression (REG101) - Level Beginner では、あらかじめ定義されたグリッドを使って、モデルのハイパーパラメータを自動的にチューニングする方法を学びました。ここでは、tune_model()のn_iterというパラメータを紹介します。n_iter は，ランダムグリッド探索の反復回数です．反復ごとに，モデルはあらかじめ定義されたハイパーパラメータのグリッドから1つの値をランダムに選択します．デフォルトでは，このパラメータは 10 に設定されています．これは，ハイパーパラメータの最適な値を見つけるために，最大10回の反復を行うことを意味します．この値を大きくするとパフォーマンスが向上しますが，同時にトレーニング時間も長くなります．以下の例をご覧ください。

n_iterパラメータに基づいて2つのチューニングされたK個の近傍探索が作成されたことに注目してください。tuned_knnでは、n_iterパラメータはデフォルト値のままで、R2は0.6504となりました。tuned_knn2では，n_iterパラメータを50に設定したところ，R2は0.6689に改善しました．以下に，tuned_knnとtuned_knn2のハイパーパラメータの違いを見てみましょう．

アンサンブル

アンサンブルは、モデル（主にツリーベース）のパフォーマンスを向上させるために使用される一般的な機械学習技術です。アンサンブルには様々な手法がありますが、ここではBaggingとBoostingについて説明します。その中にはBaggingやBoosting があります。ここでは、PyCaretのensemble_model()関数を使用します。この関数は、methodパラメータで定義された手法を用いて、学習された基本推定量をアンサンブルします。

バギング

アンサンブルによって，RMSLE が 0.1082 から 0.0938 に改善されたことに注目してください．上の例では，ensemble_model() のデフォルトのパラメータを使用し，Bagging メソッドを使用しました．それでは、ensemble_model()のmethodパラメータを変更してBoostingを試してみましょう。以下の例をご覧ください。

ブースティング

PyCaretでは、モデルのアンサンブルがとても簡単にできることに注目してください。methodパラメータを変更するだけで、何行ものコードを必要とするBaggingやBoostingを行うことができます。なお、ensemble_model() はデフォルトで 10 個の推定量を構築します。これは n_estimators パラメータで変更することができます。推定量の数を増やすことで，結果が改善されることがあります．以下の例をご覧ください。

n_estimators パラメータを増やすことで、どのように結果が改善されるかに注目してください。デフォルトの 10 推定量の bagged_dt モデルでは、RMSLE は 0.0996 でしたが、n_estimators = 50 の bagged_dt2 では、RMSLE は 0.0911 に改善されました。

ブレンディング

ブレンディングは、PyCaretで使用できるアンサンブルのもう一つの一般的な手法です。複数のモデルを作成し、個々の予測値を平均化して最終的な予測値を形成します。以下に例を挙げてみましょう。

これで blend_models() 関数を使って VotingRegressor を作成することができました。blend_models 関数が返すモデルは、create_model() や tune_model() を使って作成した他のモデルと同じです。このモデルは，他のモデルと同じように，predict_model()を使って，見たことのないデータを予測するのに使うことができます．

スタッキング

アンサンブルの手法としては、スタッキングもよく知られていますが、実用上の難しさから実装されることはあまりありません。スタッキングは、複数のモデルをメタモデルを介して結合するアンサンブル学習の手法です。スタッキングを別の方法で考えると，結果を予測するために複数のモデルが学習され，それらのモデルからの予測値を元の特徴量と一緒に入力として使用するメタモデルが作成されます．stack_models()の実装は、Wolpert, D. H. (1992b).Stacked generalization

以下、compare_modelsで得られた上位3つのモデルを使った例を見てみましょう。

デフォルトでは、メタモデル（予測を生成する最終的なモデル）はLinear Regressionです。メタモデルは、meta_modelパラメータを使って変更できます。以下に例を示します。

このセクションを終える前に、stack_models()には、restackというまだ見たことのないパラメータがあります。このパラメータは、生データをメタモデルに公開するかどうかを制御します。Trueに設定すると、ベースレベルモデルのすべての予測値とともに、生データをメタモデルに公開します。デフォルトでは、Trueに設定されています。以下の例では、restackパラメータをFalseに変更しています。