Model Builderの実力は

 新馬戦用と通常用の学習モデルを利用して順位用のCSV出力してから学習スタート。デフォルト時間３０分で行いました。

|--------------------------------------------------------------------|
|                          Experiment Results                        |
|--------------------------------------------------------------------|
|                               Summary                              |
|--------------------------------------------------------------------|
|ML Task: regression                                                 |
|Dataset: E:\My Project\MBJuni\RaceJuni.csv                          |
|Label : Juni                                                        |
|Total experiment time :  1800.0000 Secs                             |
|Total number of models explored: 61                                 |
|--------------------------------------------------------------------|
|                        Top 5 models explored                       |
|--------------------------------------------------------------------|
|      Trainer                             RMSE       Duration       |
|--------------------------------------------------------------------|
|12    LightGbmRegression                  3.7887     31.1510        |
|57    LightGbmRegression                  4.0302     37.5550        |
|29    LightGbmRegression                  4.0461     57.4470        |
|52    LightGbmRegression                  4.0474     30.4800        |
|58    LightGbmRegression                  4.0493     55.8400        |
|--------------------------------------------------------------------|

新バージョンのModel Builder使って各１回しか行ってませんが、それぞれの最適RMSEは

• 新馬戦用 1.6925
• 通常用 1.4110
• 順位用 3.7887

となりました。現状AutoMLで何度も繰り返し、採用しているモデルは

• 新馬戦用 0.8740
• 通常用 0.8188
• 順位用 1.2148

です。RMSEが全然違っているのでちょっと分かり辛いですね。

今年の初めから先週末(3/3)までで検証してみると

MB新馬戦用
単勝:的中[6.67%] 回収[15.78%] 複勝:的中[37.78%] 回収[104.00%]
枠連:的中[2.22%] 回収[23.33%] 馬連:的中[2.22%] 回収[36.44%] 
ワイド:的中[4.44%] 回収[53.33%] 馬単:的中[2.22%] 回収[63.78%]
三連複:的中[0.00%] 回収[0.00%] 三連単:的中[0.00%] 回収[0.00%]
予想[45] 的中[17] (37.78%) 購入[¥31,500] 払戻[¥13,350 (42.38%)

AutoML新馬戦用
単勝:的中[13.33%] 回収[133.33%] 複勝:的中[33.33%] 回収[88.44%]
枠連:的中[8.89%] 回収[348.44%] 馬連:的中[6.67%] 回収[390.00%]
ワイド:的中[11.11%] 回収[140.22%] 馬単:的中[4.44%] 回収[711.11%]
三連複:的中[2.22%] 回収[78.00%] 三連単:的中[0.00%] 回収[0.00%]
予想[45] 的中[15] (33.33%) 購入[¥31,500] 払戻[¥85,030 (269.94%)]

MB通常用
単勝:的中[23.16%] 回収[69.89%] 複勝:的中[52.73%] 回収[87.10%]
枠連:的中[16.60%] 回収[91.15%] 馬連:的中[12.24%] 回収[94.69%]
ワイド:的中[23.16%] 回収[79.68%] 馬単:的中[6.40%] 回収[78.55%]
三連複:的中[4.90%] 回収[68.10%] 三連単:的中[1.13%] 回収[70.58%]
予想[531] 的中[288] (54.24%) 購入[¥367,400] 払戻[¥335,780 (91.39%)]

AutoML通常用
単勝:的中[22.22%] 回収[79.34%] 複勝:的中[44.82%] 回収[77.91%]
枠連:的中[10.86%] 回収[60.18%] 馬連:的中[6.78%] 回収[56.46%]
ワイド:的中[16.20%] 回収[69.81%] 馬単:的中[4.14%] 回収[67.51%]
三連複:的中[3.95%] 回収[50.00%] 三連単:的中[1.32%] 回収[43.84%]
予想[531] 的中[246] (46.33%) 購入[¥367,400] 払戻[¥265,600 (72.29%)]

MB順位用
単勝:的中[14.06%] 回収[68.42%] 複勝:的中[37.15%] 回収[79.05%]
枠連:的中[6.94%] 回収[70.00%] 馬連:的中[3.99%] 回収[27.97%]
ワイド:的中[11.98%] 回収[86.65%] 馬単:的中[1.74%] 回収[28.25%]
三連複:的中[2.60%] 回収[94.44%] 三連単:的中[0.17%] 回収[39.48%]
予想[576] 的中[221] (38.37%) 購入[¥398,900] 払戻[¥281,680 (70.61%)]

AutoML順位用
単勝:的中[18.75%] 回収[74.31%] 複勝:的中[46.18%] 回収[85.09%]
枠連:的中[9.94%] 回収[67.54%] 馬連:的中[6.77%] 回収[64.18%]
ワイド:的中[16.15%] 回収[66.15%] 馬単:的中[3.82%] 回収[61.70%]
三連複:的中[3.82%] 回収[70.17%] 三連単:的中[0.52%] 回収[10.26%]
予想[576] 的中[275] (47.74%) 購入[¥398,900] 払戻[¥284,750 (71.38%)]

ちょっと検証期間が短いので比べ辛いのは変わらないですが、印象的には然程違いは無い感じですね。いや、RMSEの違いから想像するとって意味合いでね。大きく違うのはモデルファイルの大きさです。(AutoML:MB)

• 新馬戦用 165MB:239KB
• 通常用 126MB:56.5MB
• 順位用 101MB:125KB

これがこれだけ違うと大きなモデルのロードでエラーになるのもMBのなら気にならないのかも。ただ、MBも何度も学習して良いモデルを突き詰めて行くと大きいのが出てくるかも。今後しばらくModel Builderでの学習を試していく必要があるかもです。