学習データ内での検証

 未来的な予測ではなく、あくまでも与えられたデータを元に学習させるとこんな結果になるのが機械学習なんだろうとは思います。新馬戦用と通常用を1時間AutoMLで学習させてみました。流石に1時間ではどちらの学習でもエラーなしで行けました。先週末までのデータを学習用に準備してるので検証期間の2021年～2022年は期間内です。これが新馬戦用の検証結果で

単勝:的中[49.50%] 回収[480.12%] 複勝:的中[86.12%] 回収[210.90%]
枠連:的中[42.28%] 回収[720.58%] 馬連:的中[36.79%] 回収[1,391.35%] 
ワイド:的中[65.05%] 回収[690.33%] 馬単:的中[25.59%] 回収[2,203.29%]
三連複:的中[29.43%] 回収[3,201.32%] 三連単:的中[12.04%] 回収[7,367.41%] 
予想[598] 的中[519] (86.79%) 購入[¥408,700] 払戻[¥9,655,320 (2,362.45%)]

こちらが通常用の検証結果で

単勝:的中[17.72%] 回収[108.13%] 複勝:的中[39.21%] 回収[91.27%]
枠連:的中[9.77%] 回収[130.07%] 馬連:的中[7.13%] 回収[188.41%] 
ワイド:的中[15.61%] 回収[124.96%] 馬単:的中[4.34%] 回収[241.35%]
三連複:的中[4.82%] 回収[349.01%] 三連単:的中[1.42%] 回収[682.03%]
予想[6,912] 的中[2,808] (40.62%) 購入[¥4,769,200] 払戻[¥13,147,980 (275.69%)]

明らかに新馬用が異常ですね😯 いくら学習データに寄せる様に調整されているとはいえ、これは無いんじゃないかと思えたり。更にそれを含んだ通常用なので間違いなく結果は引き上げられてるかと。新馬用は今回新たに新しい検証で行ったのでバグがって話もなくもないんですが、しかし、的中判定は同じメソッド使ってますので、そこにはバグは無いんじゃないかと。

で、Model Builderでも1時間学習させてみた。新馬戦用は

|--------------------------------------------------------------------|
|                          Experiment Results                        |
|--------------------------------------------------------------------|
|                               Summary                              |
|--------------------------------------------------------------------|
|ML Task: regression                                                 |
|Dataset: E:\My Project\MBShinba\ShinbaTime.csv                      |
|Label : Souha                                                       |
|Total experiment time :  3600.0000 Secs                             |
|Total number of models explored: 3799                               |
|--------------------------------------------------------------------|
|                        Top 5 models explored                       |
|--------------------------------------------------------------------|
|      Trainer                             RMSE       Duration       |
|--------------------------------------------------------------------|
|3203  FastTreeRegression                  2.0112     2.0530         |
|3213  FastTreeRegression                  2.0113     2.0400         |
|3186  FastTreeRegression                  2.0115     1.5820         |
|3211  FastTreeRegression                  2.0116     3.1070         |
|3217  FastTreeRegression                  2.0116     1.7630         |
|--------------------------------------------------------------------|

単勝:的中[19.40%] 回収[91.39%] 複勝:的中[49.83%] 回収[91.56%]
枠連:的中[9.22%] 回収[94.93%] 馬連:的中[7.02%] 回収[97.14%]
ワイド:的中[16.05%] 回収[76.07%] 馬単:的中[3.34%] 回収[92.81%]
三連複:的中[3.18%] 回収[35.43%] 三連単:的中[0.50%] 回収[32.39%]
予想[598] 的中[304] (50.84%) 購入[¥408,700] 払戻[¥356,410 (87.21%)]

これ見る限りではやはり新馬用の検証にバグがある訳ではない感じはしますね。通常用は

|--------------------------------------------------------------------|

|                          Experiment Results                        |

|--------------------------------------------------------------------|

|                               Summary                              |

|--------------------------------------------------------------------|

|ML Task: regression                                                 |

|Dataset: E:\My Project\MBSouha\SouhaTime.csv                        |

|Label : Souha                                                       |

|Total experiment time :  3600.0000 Secs                             |

|Total number of models explored: 165                                |

|--------------------------------------------------------------------|

|                        Top 5 models explored                       |

|--------------------------------------------------------------------|

|      Trainer                             RMSE       Duration       |

|--------------------------------------------------------------------|

|158   FastTreeRegression                  1.4945     37.2040        |

|116   FastTreeRegression                  1.4968     43.0370        |

|155   FastTreeRegression                  1.4968     41.7740        |

|135   FastTreeRegression                  1.5301     277.5560       |

|134   FastTreeRegression                  1.5655     16.0720        |

|--------------------------------------------------------------------|

単勝:的中[10.20%] 回収[81.66%] 複勝:的中[28.26%] 回収[80.54%]
枠連:的中[4.47%] 回収[65.10%] 馬連:的中[2.04%] 回収[47.06%]

ワイド:的中[5.84%] 回収[69.84%] 馬単:的中[1.10%] 回収[55.11%]
三連複:的中[0.91%] 回収[82.27%] 三連単:的中[0.16%] 回収[33.21%]

予想[6,912] 的中[2,031] (29.38%) 購入[¥4,769,200] 払戻[¥3,513,190 (73.66%)]

これは通常用があまりにもひどい感じですね。ちょっとどうしていいのか悩みます。