通常用がなんとか

今朝方15回目にやっと最適RMSE 1.3989が出ました。

1,951R	1点	芝(899R)	ダート(975R)	障害(77R)	多点
単勝	20.71%(76.70%)	20.80%(80.38%)	19.79%(74.06%)	31.17%(67.27%)	48.74%(78.15%)
複勝	50.33%(84.64%)	48.72%(85.28%)	50.67%(83.71%)	64.94%(88.96%)	84.98%(82.28%)
枠連	12.13%(81.82%)	11.25%(79.15%)	12.94%(85.58%)	10.77%(59.54%)	25.78%(73.40%)
馬連	8.30%(68.08%)	8.01%(68.88%)	8.31%(67.83%)	11.69%(61.95%)	18.45%(70.25%)
ワイド	20.14%(78.91%)	18.69%(75.83%)	20.31%(79.37%)	35.06%(109.09%)	39.52%(80.55%)
馬単	4.56%(63.37%)	5.01%(69.01%)	4.21%(60.91%)	3.90%(28.57%)	18.45%(68.26%)
三連複	4.25%(63.34%)	3.78%(66.16%)	4.31%(58.82%)	9.09%(87.66%)	12.25%(73.29%)
三連単	1.03%(52.42%)	1.00%(67.78%)	1.03%(41.02%)	1.30%(17.66%)	12.25%(67.28%)
総合	51.87%(71.04%)	50.06%(73.97%)	52.51%(68.83%)	64.94%(65.20%)	85.24%(70.82%)

まだまだな気がしますが、それでもギリギリ使えるかなぁって感じです。本来は1.35辺りまで出たモデルが出れば合格な感じなんですが残り5回でどこまで出るかは今晩には終わるので結果待ちですね。

学習時間が長い

今やっている学習は通常用CK版なんですが、学習データが1GB超えてますので学習時間は10,000秒として20回でやってます。終わるまで２日半弱なんですよね。これで良い学習モデルが出てくれれば良いですが、出なければ更に学習する必要があります。ある程度の物が出れは順位フルCK版の学習データ出力してそこからまた学習と盆休みは延々と学習に明け暮れる事になりそうです。今週末は当然使えないですが、来週末には良い物を揃えてアプリの変更申請もしたいと思ってますが...

ML.NET Model Builder 2022 Version 17.18.2.2415501

まあ、適度にチェックはしてるんですが、Visual Studio起動して[拡張機能(X)]-[拡張機能の管理(M)...]として「更新プログラム」タグを見るとModel Builderの新しいバージョンがありました。早速インストールしてダメだった順位フルを試してみます。

追記 2024.8.10 8:07
昨夜24時間学習スタートさせて就寝。起きて確認するとやはりエラーで止まってました。

今回は一応Microsoftに報告してみたけど、どんな反応してくれるかは...

何が良いのか?

結果的に最善の予想してくれる学習モデルに辿り着きたいって事です。ちょっと試しにCK版の新馬の学習モデルを1,200秒×20回でやってます。現時点の最適RMSEは2.0140で

113R	1点	芝(77R)	ダート(36R)	多点
単勝	23.01%(97.61%)	24.68%(91.56%)	19.44%(110.56%)	53.10%(82.89%)
複勝	42.48%(73.89%)	42.86%(67.66%)	41.67%(87.22%)	81.42%(75.19%)
枠連	11.63%(109.53%)	12.96%(135.56%)	9.38%(65.62%)	11.63%(123.86%)
馬連	7.96%(159.47%)	9.09%(203.51%)	5.56%(65.28%)	20.35%(130.77%)
ワイド	19.47%(94.51%)	22.08%(109.35%)	13.89%(62.78%)	33.63%(72.01%)
馬単	4.42%(178.50%)	6.49%(261.95%)	0.00%(0.00%)	20.35%(115.24%)
三連複	4.42%(51.06%)	6.49%(74.94%)	0.00%(0.00%)	11.50%(47.99%)
三連単	0.00%(0.00%)	0.00%(0.00%)	0.00%(0.00%)	11.50%(45.16%)
総合	45.13%(95.14%)	45.45%(117.39%)	44.44%(48.70%)	82.30%(68.85%)

これって良いのかな? 決して悪くはない? 現時点でのさらだでの最適を確認する上でCK版の学習モデルを試してます。

4,000秒×20回では

以前だと通常用は1.4未満までRMSEは出てたんですが、結局

SouhaTime4000_14493.zip 131330097
SouhaTime4000_14637.zip  56347393
SouhaTime4000_14646.zip  81070935
SouhaTime4000_14716.zip  51095577
SouhaTime4000_14770.zip   5351742
SouhaTime4000_14808.zip  87534305
SouhaTime4000_14935.zip   1778036
SouhaTime4000_14997.zip    979124
SouhaTime4000_15224.zip    254482
SouhaTime4000_15229.zip    258028
SouhaTime4000_15371.zip    285337
SouhaTime4000_15392.zip   9001344
SouhaTime4000_15529.zip  81477380
SouhaTime4000_15682.zip    150385
SouhaTime4000_16026.zip  36407025
SouhaTime4000_16089.zip    138913
SouhaTime4000_16294.zip  19714249
SouhaTime4000_16567.zip    714508
SouhaTime4000_16724.zip    346594
SouhaTime4000_17257.zip   1290168

3,600秒よりは少しだけ良いのかな?

1,951R	1点	芝(899R)	ダート(975R)	障害(77R)	多点
単勝	19.43%(79.77%)	20.69%(97.89%)	17.54%(62.51%)	28.57%(86.88%)	46.39%(80.71%)
複勝	46.85%(84.06%)	46.50%(83.53%)	46.46%(84.58%)	55.84%(83.77%)	83.24%(84.50%)
枠連	10.89%(77.52%)	9.83%(62.82%)	11.44%(88.81%)	15.38%(90.00%)	23.86%(80.91%)
馬連	7.07%(66.31%)	6.01%(68.34%)	7.69%(62.73%)	11.69%(87.92%)	18.35%(90.79%)
ワイド	17.99%(86.07%)	16.24%(85.97%)	18.87%(84.43%)	27.27%(108.05%)	38.39%(87.91%)
馬単	4.05%(70.72%)	4.00%(96.12%)	3.79%(47.53%)	7.79%(67.79%)	18.35%(89.47%)
三連複	4.56%(97.48%)	3.89%(94.15%)	4.92%(104.61%)	7.79%(46.23%)	11.12%(78.45%)
三連単	1.03%(58.57%)	1.11%(69.04%)	0.82%(46.83%)	2.60%(84.94%)	11.12%(76.54%)
総合	48.28%(77.57%)	47.83%(82.58%)	48.00%(72.67%)	57.14%(81.79%)	83.50%(80.86%)

どこかで妥協なんだけど、Model Builderの学習モデルに届かないのが非常に標準添付に向かないと思うんですよ。盆休みになったのでじっくりと考えながら...LightGBM単体をC#から直接使うのはどうやら微妙らしくスムーズではないです。ラッパーかましてとかあまり気が進まないです。

3,600秒×24回では良い学習モデル出ず

昨日終わってたんですが、結果があまりにも使えなくて

SouhaTime3600_14657.zip  87856465
SouhaTime3600_14834.zip  32059748
SouhaTime3600_14863.zip   7764371
SouhaTime3600_15003.zip    513500
SouhaTime3600_15075.zip  57158241
SouhaTime3600_15123.zip    531689
SouhaTime3600_15146.zip    543648
SouhaTime3600_15347.zip   1029146
SouhaTime3600_15398.zip    432900
SouhaTime3600_15487.zip    361226
SouhaTime3600_15524.zip  90573269
SouhaTime3600_15936.zip    144413
SouhaTime3600_15952.zip    394820
SouhaTime3600_16219.zip   1277124
SouhaTime3600_16237.zip    448000
SouhaTime3600_16350.zip    425814
SouhaTime3600_16402.zip    528639
SouhaTime3600_16623.zip    207097
SouhaTime3600_16651.zip    693662
SouhaTime3600_16888.zip    565121
SouhaTime3600_16895.zip    716130
SouhaTime3600_17062.zip 287203518
SouhaTime3600_17253.zip    284569
SouhaTime3600_17769.zip 124455979

ファイル名の後ろの数字はファイルサイズです。今晩盆休み前最後の夜勤出勤なので一応4,000秒×20回を先程スタートさせて様子を見る事にしました。まあ、盆休みにはLightGBM 4.5.0を単独使用し学習モデルを得る外部プロセスを作ってみようかと思ってます。

Model Builder→AutoMLに方向転換

次期バージョンのリリース準備で同胞する学習モデルの準備をModel Builder使って新馬戦用、通常用としてそれらを使った順位フル用CSVファイルを出力してModel Builderで24時間学習に2回程挑みましたが数時間後に不明なエラーで止まってしまって学習が出来ない。Microsoftに報告して修正とか待っていては何時になるか分からなくなるので、最新preview組み込んでるAutoMLで準備始めました。新馬戦は最適RMSE 1.6962が出たりしたのですが、この学習モデルは280MBとかなり大きなものとなり、予想通りにロード時にエラーになります。で、次点のRMSE 1.6971はファイルサイズ223MBと少しだけ小さいので試しました。

2024.1.1～2024.7.31の検証で

113R	1点	芝(77R)	ダート(36R)	多点
単勝	20.35%(112.04%)	20.78%(111.17%)	19.44%(113.89%)	40.71%(75.58%)
複勝	45.13%(79.03%)	51.95%(88.31%)	30.56%(59.17%)	78.76%(72.21%)
枠連	6.98%(49.88%)	5.56%(25.37%)	9.38%(91.25%)	6.98%(46.21%)
馬連	6.19%(58.32%)	6.49%(28.83%)	5.56%(121.39%)	14.16%(74.25%)
ワイド	14.16%(49.20%)	16.88%(49.09%)	8.33%(49.44%)	30.97%(57.52%)
馬単	3.54%(87.79%)	3.90%(33.77%)	2.78%(203.33%)	14.16%(61.93%)
三連複	3.54%(48.58%)	5.19%(71.30%)	0.00%(0.00%)	12.39%(86.46%)
三連単	0.88%(84.42%)	1.30%(123.90%)	0.00%(0.00%)	12.39%(98.51%)
総合	46.02%(71.81%)	53.25%(68.06%)	30.56%(79.65%)	79.65%(83.54%)

となりまずまずな感じです。この後、通常用の学習1時間×24回をスタートしてお盆休み前残り3日の夜勤に出て、明日のこの時間に結果出る様にします。

追記 2024.8.5 18:50
以前は学習モデルのファイルサイズが100MB超えるとロード時にエラーになる事が多かったんですが、4.0.0-previewのおかげなのかは定かではないですが、200MB超えてもロード出来たりしてるのは改善されているからなのかもですね。これとLightGBMのバージョンが3.3.5から新しい物に更新されれば更に学習モデルも改善されると思ったりします^^;

CKシリーズの学習モデル

自分用ではありますが、こちらも当然重要なので少しずつ進めてますが

• ShinbaTimeCK(RMSE 1.9814)
  

  113R	1点	芝(77R)	ダート(36R)	多点
  単勝	15.93%(54.78%)	15.58%(50.52%)	16.67%(63.89%)	38.94%(56.40%)
  複勝	38.05%(93.54%)	37.66%(92.99%)	38.89%(94.72%)	75.22%(74.66%)
  枠連	9.30%(89.42%)	12.96%(119.63%)	3.12%(38.44%)	9.30%(75.33%)
  馬連	7.08%(57.35%)	7.79%(37.01%)	5.56%(100.83%)	15.04%(60.18%)
  ワイド	11.50%(74.69%)	12.99%(94.68%)	8.33%(31.94%)	29.20%(66.19%)
  馬単	5.31%(51.95%)	6.49%(60.13%)	2.78%(34.44%)	15.04%(52.17%)
  三連複	2.65%(45.93%)	2.60%(17.40%)	2.78%(106.94%)	7.08%(42.21%)
  三連単	0.88%(13.01%)	1.30%(19.09%)	0.00%(0.00%)	7.08%(49.39%)
  総合	39.82%(59.18%)	40.26%(59.17%)	38.89%(59.19%)	75.22%(54.02%)

• SouhaTimeCK(RMSE 1.4260)
  

  1,951R	1点	芝(899R)	ダート(975R)	障害(77R)	多点
  単勝	25.94%(80.91%)	25.36%(85.08%)	25.64%(75.50%)	36.36%(100.65%)	54.38%(80.45%)
  複勝	55.87%(85.15%)	53.62%(83.59%)	56.92%(85.69%)	68.83%(96.36%)	87.80%(82.64%)
  枠連	14.27%(89.73%)	13.45%(79.95%)	14.55%(83.87%)	20.00%(290.31%)	31.13%(87.79%)
  馬連	9.79%(75.14%)	8.90%(63.23%)	10.26%(73.24%)	14.29%(238.18%)	23.37%(76.62%)
  ワイド	23.32%(81.35%)	21.58%(72.54%)	23.79%(83.02%)	37.66%(163.25%)	44.90%(81.85%)
  馬単	5.64%(82.84%)	5.56%(71.87%)	5.54%(72.78%)	7.79%(338.31%)	23.37%(77.17%)
  三連複	6.61%(101.46%)	6.67%(94.62%)	5.95%(91.25%)	14.29%(310.65%)	16.04%(82.02%)
  三連単	1.44%(120.62%)	1.78%(74.16%)	1.03%(67.05%)	2.60%(1,341.30%)	16.04%(77.94%)
  総合	57.36%(89.65%)	54.95%(78.10%)	58.56%(79.02%)	70.13%(361.26%)	88.16%(79.31%)

どちらももう少し詰めたいけど、リリース用の準備がちとトラブってます。順位フルをModel Builderで24時間やろうと２度もトライしてますが訳わからないエラーで止まってしまいます😖 ちと違う方向で学習モデル準備してリリースにこぎ着けようか悩む所です。

次期バージョン同胞候補

2024.1.1～2024.7.31で検証すると

• ShinbaTime.mlnet(RMSE 1.6657)
  

  113R	1点	芝(77R)	ダート(36R)	多点
  単勝	7.96%(16.28%)	7.79%(15.84%)	8.33%(17.22%)	33.63%(63.19%)
  複勝	29.20%(50.44%)	27.27%(48.05%)	33.33%(55.56%)	75.22%(72.33%)
  枠連	5.81%(29.42%)	7.41%(37.96%)	3.12%(15.00%)	5.81%(53.05%)
  馬連	3.54%(31.59%)	3.90%(9.22%)	2.78%(79.44%)	9.73%(51.33%)
  ワイド	8.85%(42.39%)	10.39%(45.58%)	5.56%(35.56%)	28.32%(63.95%)
  馬単	0.88%(2.39%)	1.30%(3.51%)	0.00%(0.00%)	9.73%(48.36%)
  三連複	0.88%(69.47%)	1.30%(101.95%)	0.00%(0.00%)	6.19%(56.95%)
  三連単	0.00%(0.00%)	0.00%(0.00%)	0.00%(0.00%)	6.19%(46.67%)
  総合	31.86%(30.27%)	31.17%(32.56%)	33.33%(25.49%)	75.22%(52.01%)

• SouhaTime.mlnet(RMSE 1.3800)
  

  1,951R	1点	芝(899R)	ダート(975R)	障害(77R)	多点
  単勝	24.86%(83.08%)	23.69%(77.19%)	25.13%(88.30%)	35.06%(85.71%)	50.44%(74.05%)
  複勝	55.20%(85.86%)	52.84%(80.95%)	56.21%(88.44%)	70.13%(110.52%)	86.62%(82.83%)
  枠連	13.59%(71.00%)	14.75%(84.28%)	12.73%(61.38%)	12.31%(51.38%)	26.90%(68.23%)
  馬連	9.28%(59.01%)	10.01%(72.60%)	8.51%(46.90%)	10.39%(53.64%)	20.71%(65.35%)
  ワイド	23.63%(79.06%)	22.58%(77.68%)	24.00%(79.09%)	31.17%(94.81%)	43.52%(81.11%)
  馬単	5.33%(56.50%)	5.78%(67.16%)	4.82%(47.56%)	6.49%(45.19%)	20.71%(63.49%)
  三連複	6.87%(105.53%)	6.45%(127.29%)	7.08%(89.17%)	9.09%(58.70%)	16.20%(83.89%)
  三連単	1.44%(125.32%)	1.56%(169.05%)	1.23%(89.36%)	2.60%(70.00%)	16.20%(81.42%)
  総合	56.48%(83.31%)	53.73%(94.71%)	57.85%(73.84%)	71.43%(71.64%)	86.78%(77.33%)

順位フルを現在学習中です。

まさかの根本的なファクターのもれ

学習させる上でベースとなる分類に漏れがありました。これ、コースの説明なんかみてると「Aコースでは...」的なのを前々から見てたのに何故取り入れなかったと今更不思議に思ってしまう程の痛恨のポカ! 全ての学習モデルに影響するファクター漏れです。なので腹くくって改修作業してただいま必死に学習させてます。

今週末のリアル馬券は最小限に控えてひたすら学習作業です。最適RMSEがどの程度なら妥協かの判断が難しいですが、時間との闘いでもあり、ある程度の物が揃った時点で標準添付用としてリリースに踏み切る予定です。

新バージョン 1.6.0の通常用学習モデル

初回のSouhaTimeCKのModel Builderでの24時間学習が終わりました。

233R	1点	芝(126R)	ダート(97R)	障害(10R)	多点
単勝	24.89%(89.87%)	24.60%(84.13%)	23.71%(97.11%)	40.00%(92.00%)	49.79%(78.45%)
複勝	51.50%(84.21%)	46.03%(79.21%)	56.70%(89.48%)	70.00%(96.00%)	88.41%(84.75%)
枠連	10.00%(67.95%)	7.48%(67.76%)	13.33%(70.44%)	0.00%(0.00%)	22.00%(62.14%)
馬連	6.44%(57.47%)	4.76%(55.40%)	7.22%(61.34%)	20.00%(46.00%)	16.31%(52.30%)
ワイド	20.17%(76.27%)	18.25%(74.13%)	20.62%(75.77%)	40.00%(108.00%)	39.48%(66.44%)
馬単	2.15%(34.81%)	1.59%(32.54%)	2.06%(35.77%)	10.00%(54.00%)	16.31%(52.87%)
三連複	3.00%(30.60%)	2.38%(10.00%)	4.12%(60.52%)	0.00%(0.00%)	12.88%(77.46%)
三連単	0.43%(16.52%)	0.00%(0.00%)	1.03%(39.69%)	0.00%(0.00%)	12.88%(83.84%)
総合	52.36%(57.02%)	47.62%(50.06%)	56.70%(66.23%)	70.00%(54.25%)	89.27%(75.08%)

ちょっと実戦に使える気がしないorz

ML.NET Version 4.0.0-preview.24378.1

先月30日リリースされてた様です。NuGetも適度に確認してるんですが...System.Data.SQLite.Coreは5月更新予定が未だ更新されず😓 何か問題があるからなんだとは思うけど、3カ月遅れはなかなかな感じです。

で、少しだけどML.NETが更新されたので淡い期待からLightGBM Version 4.5.0がと試しましたが相変わらずのエラーが出るのでNGでした。これ、previewが終わって正式リリースされても対応されない気がするのが本当に残念なんですよね。LightGBMチーム的には現在のML.NETが採用しているLightGBM Version 3.3.5から随分と変わっているのがVersion 4.0.0以降のLightGBMらしいのでなんとかして欲しい所です。

まっ、何にしてもAutoMLとAutoMLJuniを新しいML.NETでリビルドしてリリースに同胞する事にします。

何気にCopilotに質問ぶつけた

ざっくりな話、「競馬予想に有効なファクターは何ですか?」に対していくつかの項目を挙げてくれるCopilotなんですが、その中に「着差」とありました。ああっ、確かに使えるかなぁって事で確認すると、馬毎レース情報に「着差コード」が存在します。実際にはちょっと単純ではないのですが採用する事にしました。今週頭にサラッと書き上げて学習もした後に、ふと、「着差」入れるなら「タイム差」は入れないの?って疑問から面倒なので入れる事にしました。

まっ、これもサラッと書き上げて今学習中です。テスト学習中なので３時間のModel Builderでのお試しです。この後、24時間も実施する予定です。

若干悩みました。これって馬毎レース情報からなので別にCKに拘る必要は全くありません。が、ファクター追加は前後での互換が全くなくなるので学習モデルが使えなくなるので、影響を最小限にする為に今回はSouhaTimeCKにのみ追加してみました。結果が良い方向であれば、SouhaTimeへの追加も検討しようかと思います。