ファクター追加と学習

 まあ少しやらかしました。10時間学習させている間にファクター追加したCSV出力開始。いやね、学習プロセス開始時にCSVは既に読み込んでメモリにあるんだと勝手に解釈して...だって、あのスピードで学習してくんだからと思う訳で、まあ、CSV出力開始時にはトライアルに数十分掛かるやつだった感じで、まあ、そのトライアルが相変わらずオーバーフローか何かで終わって次に行きだした途端にエラーの嵐😖 そもそもファクター追加後には使えない学習モデルなのでまあ大きく影響はないんですがね。

ああっ、学習中にCSV出力始めたら、本来期待してた修正されたスピードでガンガン行くと思いきや、やや拍子抜けなスローなスタートだったんです。まあ、当たり前ですが学習プロセスがCPU90%前後なんで残りで他のプロセスがって事で、エラーが出て学習中断すればスピードアップ。2年分で大体5分弱な感じでした。

先ずは1時間学習をModel BuilderとAutoMLにて行いました。

|--------------------------------------------------------------------|
|                          Experiment Results                        |
|--------------------------------------------------------------------|
|                               Summary                              |
|--------------------------------------------------------------------|
|ML Task: regression                                                 |
|Dataset: E:\My Project\MBJuni\RaceJuni.csv                          |
|Label : Juni                                                        |
|Total experiment time :  3600.0000 Secs                             |
|Total number of models explored: 194                                |
|--------------------------------------------------------------------|
|                        Top 5 models explored                       |
|--------------------------------------------------------------------|
|      Trainer                             RMSE       Duration       |
|--------------------------------------------------------------------|
|192   FastTreeTweedieRegression           4.1101     19.5600        |
|191   FastTreeTweedieRegression           4.1944     16.9520        |
|189   FastTreeTweedieRegression           4.2590     15.4970        |
|188   FastTreeTweedieRegression           4.2657     16.0370        |
|187   FastTreeTweedieRegression           4.2759     14.3270        |
|--------------------------------------------------------------------|

1時間としてはまずまずなRMSEだったかと。検証結果は

単勝:的中[15.08%] 回収[82.16%] 複勝:的中[60.29%] 回収[136.25%]
枠連:的中[7.11%] 回収[71.68%] 馬連:的中[4.17%] 回収[56.15%] 

ワイド:的中[25.98%] 回収[191.87%] 馬単:的中[2.14%] 回収[53.06%]
三連複:的中[2.31%] 回収[70.97%] 三連単:的中[0.33%] 回収[87.78%] 

予想[6,912] 的中[4,222] (61.08%) 購入[¥4,769,200] 払戻[¥5,133,820 (107.65%)]

とまずまずだとは思います。AutoMLの方は数分で出来たモデルの後は超えるモデルが発見出来ないまま終了。最後のトライアルも数十分やってる途中で時間切れな感じ。

単勝:的中[16.61%] 回収[79.52%] 複勝:的中[62.79%] 回収[135.41%]
枠連:的中[8.81%] 回収[75.29%] 馬連:的中[5.66%] 回収[69.97%] 

ワイド:的中[29.43%] 回収[201.00%] 馬単:的中[2.97%] 回収[68.55%]
三連複:的中[2.71%] 回収[70.85%] 三連単:的中[0.67%] 回収[47.87%] 

予想[6,912] 的中[4,412] (63.83%) 購入[¥4,769,200] 払戻[¥5,121,240 (107.38%)]

これらの学習は2004年～2020年のデータを学習させ、2021年～2022年で検証させてますので、ファクター追加した効果はかなり有ったかと思うので報われました😁 数分で出たAutoMLが的中率では勝ってるのが何度もですけどね。本来しっかりと作り込んでいればAutoMLでもModel Builder同様RMSEとか表示出来たとは思うんですが、それよりも、早くLightGBMが改善されてって方が気になってます。Microsoftの対応なので全く期待出来ないのが...