完璧な学習が済めば、基本的に的中率100%に限りなく近づくのかな?今回の学習では更に最適が向上しRMSE 1.5310が出ました。
単勝:的中[52.63%] 回収[395.32%] 複勝:的中[88.96%] 回収[217.12%]
枠連:的中[41.51%] 回収[691.19%] 馬連:的中[36.46%] 回収[1,258.54%]
ワイド:的中[65.61%] 回収[755.04%] 馬単:的中[25.13%] 回収[1,593.30%]
三連複:的中[31.18%] 回収[3,995.86%] 三連単:的中[13.09%] 回収[10,347.80%]
予想[6,912] 的中[6,195] (89.63%) 購入[¥4,769,200] 払戻[¥132,606,490 (2,780.48%)]
こんな予想が現実なら神レベルかも?まあ、実際には未来はそんな簡単に予測は出来ないとは思いますが、先ずはベストな最適が見つければと思ってます。
順位の学習ですが、2,000秒20回では良いものが得られませんでした。今は2,200秒20回中です。早々にRMSE 1.6133が出たのでいつもの目安の検証しました。
単勝:的中[47.63%] 回収[361.96%] 複勝:的中[85.88%] 回収[211.57%]
枠連:的中[35.61%] 回収[561.39%] 馬連:的中[30.35%] 回収[1,033.15%]
ワイド:的中[58.87%] 回収[682.76%] 馬単:的中[19.43%] 回収[1,277.47%]
三連複:的中[24.57%] 回収[2,867.54%] 三連単:的中[8.35%] 回収[5,647.52%]
予想[6,912] 的中[5,985] (86.59%) 購入[¥4,769,200] 払戻[¥87,002,360 (1,824.25%)]
これまでの最適より的中率も回収率も上がってます。ただ、既に今日の前半は以前の物で投票済み。ちょっと朝用事があり出掛けたのでその前に済ませてました。後半戦はこちらを試してみようかと思います。
ここにも9月7日に書きましたが、仮住まいに引越してPIXELAのSIMフリールーターを楽天モバイルでと準備してたので利用開始って繋がらない😖 iPhoneにも元々デュアルSIMで楽天モバイル入れてましたのでiPhoneでも楽天モバイルにしてみると「圏外」です。主回線のドコモは若干遅い感じはするもののアンテナ4本で問題ない。楽天モバイルは駐車場に出ると入る場所もなくもないが、アパート内ではどこでも「圏外」。解約する事にしたんですが、ネット回線が無い状態で、PCからは出来ないのでiPhoneで挑んだんです。解約するのにワンタイムパスワードがメールで届くってタイムアウト15分になっているけど確認出来るのに30分程度掛かるのでチャットで挑む。チャットももっさりで最初は切れるので電話で挑むが最初10分程お待ち下さいだった案内が途中で15分に伸びたので断念。楽天Linkの無料通話だとパケット消費するからだらだら待つのは危険との判断からです。で、まあ、解約をチャットで出来たんですが2時間程掛かりました。
ドコモ回線が室内でも使えるのは分かったのでmineo Dタイプに決定して申込。早ければ即日的な案内がサイトにあったので申込んだんですが、結局火曜日(9/26)早朝に申込してSIMカードは本日(9/29)に郵送されてきました。カスタマーサポートに電話したら、即日的なのはeSIMで郵送とか無いからって事でした。市内に取扱店的なのがあるから取りに行けばって勝手に思ったのが間違いでした。
楽天モバイルでは無制限3,278円/月の予定でしたが、mineo マイピタ20GB Dタイプにパケット放題Plusが無料で付いて1,925円/月。毎月20GBは最速3Mbpsで、パケット放題Plusを有効にすると最速1.5Mbpsに下がる。この切替を有効に活用って事らしい。パケット放題Plusで3日間で10GB超えると次の日はペナルティーになるらしい。そんなに使う事は無いと思うのであまり気にしないでおきます。
今週末も実戦投入したりして負けました😖 まだまだなんだなっとは思いながら実は更に順位の学習に挑んだりしてます。なんとなくこれまでの最適が出た2,100秒で更に20回やってるんですが、これまでの最適を大きく更新したモデルが出てきました。RMSE 1.6628です。いつもの目安の検証は
単勝:的中[44.10%] 回収[296.39%] 複勝:的中[83.93%] 回収[190.94%]
枠連:的中[33.52%] 回収[488.71%] 馬連:的中[27.85%] 回収[734.34%]
ワイド:的中[54.90%] 回収[524.70%] 馬単:的中[17.01%] 回収[894.62%]
三連複:的中[22.35%] 回収[1,936.90%] 三連単:的中[6.60%] 回収[3,515.71%]
予想[6,912] 的中[5,875] (85.00%) 購入[¥4,769,200] 払戻[¥58,982,660 (1,236.74%)]
Model Builderのバージョンアップが行われたら、また試してみたいと思うし、Tensorflowの方ですが、やはり、手強いのは間違いないです。C#や.NETでの実装はラッパーとかがもう少し充実してこないと厳しいんじゃないかと思ってます。というのも、Pythonでは取敢えずTensorflowを使って新馬戦用の学習はさせる事が出来、Onnx形式での保存までは来ました。このモデルをC#のMicrosoft.ML側でロードして予測して検証してみないと何ともなんですが...ただ、RMSEが滅茶苦茶巨大な値で実際の検証結果をみないと判断が出来ません。
ここに8月20日に書きましたModel BuilderにLightGBMだけ指定するとエラーで動かない件で"issue has been fixed in the latest version main Build 17.17.0.2335401"との回答を頂けました。ただ、そこにも書かれてましたがこのバージョンはまだリリース前だとの事で、リリースをお待ち下さいとの事でした。Model Builderの今入っているバージョンは17.17.0.2332602なのでどんなタイミングでリリースになるのかは分かりませんが、少なくとも次のバージョンアップでは改善されるのかなぁっと。
ただ、既にAutoMLで相当やり込んでいますので改めてModel Builderで行う意味合いが微妙ではありますが、予想精度が上がる可能性があれば試してみます。
前回から50日なのでちょっと長かったです。デイリーストリークは146日なので抜けた日はない筈ですが、日々の内容的にってのと昨日ちょっと色々としてて、昨日申請出来ていたかもではあります。
今回の申請ってかAmazonギフト貰うのに途中でエラーになったので焦りましたが、履歴見たら即座に反映されていたので、いつもは申請してメールが来るのを待って受け取る感じでしたが、履歴から直接受ける感じでAmazonに反映しました。来週月曜日に引越なのでそこでドタバタしてデイリーストリークが切れるかも😔
何度も何度も、もう数えきれない程アイビー先生とグーグル先生に質問ぶつけてはサンプルコードをコピペして...コピペ時点でエラーの嵐な日々でした。Tensorflow入門だとかのチュートリアルを見てみたりドキュメントにも目を通し、努力は続けてますが機械学習は挫折しやすい的な話をどこかのチュートリアルで見かけた。これ、Microsoft.MLとMicrosoft.ML.AutoMLと比較するとあまりにも...チュートリアルが悪いのか、そもそもそれぞれのパッケージが未だVer1.0未満だとか、もしくは自分自身の学習能力不足なのか、この１ヶ月以上は苦悩の日々でした。
本日やっとコピペのエラーは全て無くなり実行にこぎつけました。が!いや、実行まで行けただけで、実行時エラーが出ますけどね。ただ、徐々にですが前に進めたかな～っとね。何が分かり辛いって、そもそもの学習データの準備がもう大変です。CSVファイルから読み込んでどうする?がそもそも入り口が多くて選択には悩まさせるし、あっちもこっちもでごちゃごちゃになりやすいしなんです。
NuGetパッケージで今使っているのは
TensorFlow.NET ver0.110.3
です。これって実行形式(?)ってかバックボーン(?)が無く単体では実行出来ず環境なんかで選択する必要があるんですが、取敢えず
SciSharp.TensorFlow.Redist ver2.11.4
を入れました。GPU使う奴とかもあるんですが、まっ、画像系じゃないからトラブル避けるにも普通のにって感じです。画像認識とかだとGPU使うと良いのかな～っと勝手に思っただけで実際にはCPUパワーだけよりGPUにも力を借りればかもですが、先ずは動かす事に集中。
取敢えず、現時点での問題は、NDArrayというものを、NumSharpから使うかTensorflow.Numpyから使うかとか、まだまだ学習する事がいっぱいなのかも...
通常用と順位で2,100秒30回を行いました。
2023/09/17 7:18 85656371 SouhaTime2100_8282.zip
2023/09/17 7:54 644940 SouhaTime2100_11540.zip
2023/09/17 8:30 812308 SouhaTime2100_11444.zip
2023/09/17 9:07 28226614 SouhaTime2100_8398.zip
2023/09/17 9:48 109934440 SouhaTime2100_8169.zip
2023/09/17 10:23 221531 SouhaTime2100_11818.zip
2023/09/17 10:59 344101 SouhaTime2100_11758.zip
2023/09/17 11:34 331462 SouhaTime2100_11771.zip
2023/09/17 12:16 47719354 SouhaTime2100_10939.zip
2023/09/17 12:52 637786 SouhaTime2100_11953.zip
2023/09/17 13:27 35525 SouhaTime2100_12397.zip
2023/09/17 14:09 155194199 SouhaTime2100_8231.zip
2023/09/17 14:45 975407 SouhaTime2100_11368.zip
2023/09/17 15:20 143486 SouhaTime2100_12287.zip
2023/09/17 15:55 177255 SouhaTime2100_11858.zip
2023/09/17 16:34 24801729 SouhaTime2100_10548.zip
2023/09/17 17:09 297511 SouhaTime2100_11945.zip
2023/09/17 17:45 273565 SouhaTime2100_11887.zip
2023/09/17 18:20 130184 SouhaTime2100_12219.zip
2023/09/17 18:57 376008 SouhaTime2100_11859.zip
2023/09/17 19:41 65292209 SouhaTime2100_9643.zip
2023/09/17 20:16 197009 SouhaTime2100_12400.zip
2023/09/17 20:54 2071765 SouhaTime2100_11015.zip
2023/09/17 21:30 795541 SouhaTime2100_11592.zip
2023/09/17 22:13 162233822 SouhaTime2100_8343.zip
2023/09/17 22:50 476945 SouhaTime2100_12135.zip
2023/09/17 23:25 488476 SouhaTime2100_12047.zip
2023/09/18 0:01 175596 SouhaTime2100_11932.zip
2023/09/18 0:39 51340013 SouhaTime2100_9721.zip
2023/09/18 1:16 2290920 SouhaTime2100_10966.zip
通常用は5回目に最適ですが、これまでを超えず、
2023/09/17 7:13 79058 RaceJuni2100_19823.zip
2023/09/17 8:24 52704 RaceJuni2100_19902.zip
2023/09/17 10:09 15889 RaceJuni2100_20723.zip
2023/09/17 10:44 185986 RaceJuni2100_19761.zip
2023/09/17 11:19 97156 RaceJuni2100_19969.zip
2023/09/17 11:54 296553 RaceJuni2100_19690.zip
2023/09/17 12:30 130037 RaceJuni2100_19874.zip
2023/09/17 13:40 67363 RaceJuni2100_20024.zip
2023/09/17 14:50 7138 RaceJuni2100_20737.zip
2023/09/17 15:25 154601 RaceJuni2100_19764.zip
2023/09/17 16:00 218296 RaceJuni2100_19705.zip
2023/09/17 16:36 244341 RaceJuni2100_19815.zip
2023/09/17 17:11 278494 RaceJuni2100_19826.zip
2023/09/17 18:56 33313 RaceJuni2100_20169.zip
2023/09/17 19:32 6148520 RaceJuni2100_20717.zip
2023/09/17 20:07 141936 RaceJuni2100_19795.zip
2023/09/17 20:42 230865 RaceJuni2100_19782.zip
2023/09/17 21:20 55048711 RaceJuni2100_18529.zip
2023/09/17 22:30 4950 RaceJuni2100_0.zip
2023/09/17 23:06 247594 RaceJuni2100_19732.zip
2023/09/17 23:41 229551 RaceJuni2100_20535.zip
2023/09/18 0:17 616087 RaceJuni2100_19625.zip
順位は22個しかセーブされてません。少なくとも3回程度RMSEがゼロだったのは見掛けましたので、ログ確認したら8回もありました😔 順位学習側のみの問題なのか何だろ? まあ、こちらは25回目に最適でこれは昨晩検証とかも書いた通りです。
今やっていてる2,100秒30回でもRMSEが0になる事がありました。しかも1回ではないですね。これっまあ、単純に何かのバグなのか当たり前ですが、RMSEを比較して最適判断してるのでこれ出た回ははこれが最適でこれ以上はないのでこれが残りますね😔考えたくないケースはこれまでの最適を超えたものが出ていてもこのゼロによって全て消されちゃうんですよね。今回も途中ではありますが、このゼロが出た直前の回の最適が1.8529とこれまでの最適を更新しましたので、いつもの目安の検証してみました。
単勝:的中[33.43%] 回収[185.69%] 複勝:的中[70.72%] 回収[146.55%]
枠連:的中[21.98%] 回収[250.50%] 馬連:的中[17.36%] 回収[348.10%]
ワイド:的中[36.52%] 回収[283.91%] 馬単:的中[10.00%] 回収[356.39%]
三連複:的中[11.33%] 回収[729.39%] 三連単:的中[3.31%] 回収[1,127.73%]
予想[6,912] 的中[4,957] (71.72%) 購入[¥4,769,200] 払戻[¥23,522,820 (493.22%)]
順位2,400秒20回が終わったんですが、妙です😓
2023/09/16 7:30 214642 RaceJuni2400_19735.zip
2023/09/16 8:51 50328 RaceJuni2400_19854.zip
2023/09/16 9:32 128420 RaceJuni2400_19888.zip
2023/09/16 10:12 5124916 RaceJuni2400_18872.zip
2023/09/16 10:53 222925 RaceJuni2400_20055.zip
2023/09/16 11:33 1415406 RaceJuni2400_19331.zip
2023/09/16 13:34 76953 RaceJuni2400_19972.zip
2023/09/16 14:14 225732 RaceJuni2400_19733.zip
2023/09/16 14:54 127196 RaceJuni2400_19865.zip
2023/09/16 15:36 654422 RaceJuni2400_19788.zip
2023/09/16 16:16 1356823 RaceJuni2400_19402.zip
2023/09/16 19:37 5650 RaceJuni2400_20737.zip
2023/09/16 20:17 4950 RaceJuni2400_0.zip
たった13個しかセーブされていないのは単に重なった事が多かったのはあれですが、最後がゼロって何?もうシビアなところで限界に近いから似たようなRMSEで重なったってのは分からないでもないんですよね。4回目?前の書込みで5回目って書いてるので、多分8:10辺りに有ったのが上書きされて無くなってるんですね。にしても、これ、更にやるべきか悩む所です。
本日6Rまでは前日までの最適なモデルを利用してましたが、7R移行はこのRMSE 1.8872のモデルに変更しての実戦配備でしたが、
ひたすら学習プロセスは走らせてます。順位の最適RMSE 1.8872とか出たのでいつもの目安の検証をしてみました。
単勝:的中[28.56%] 回収[147.12%] 複勝:的中[63.59%] 回収[130.18%]
枠連:的中[17.32%] 回収[184.89%] 馬連:的中[13.02%] 回収[245.29%]
ワイド:的中[29.43%] 回収[211.01%] 馬単:的中[7.22%] 回収[239.79%]
三連複:的中[7.96%] 回収[436.62%] 三連単:的中[1.68%] 回収[496.17%]
予想[6,912] 的中[4,490] (64.96%) 購入[¥4,769,200] 払戻[¥14,325,430 (300.37%)]
ビルドし直しても結局OutOfMemoryは発生してます。まっ、制限なしを制限しても変わらなくても当然と言えば当然な気はします。次からは触らずにビルドします。
で、通常用2,400秒20回をしてみたんですが、
2023/09/15 10:50 949856 SouhaTime2400_11899.zip
2023/09/15 11:30 208622 SouhaTime2400_11960.zip
2023/09/15 12:11 637643 SouhaTime2400_11815.zip
2023/09/15 12:56 87637330 SouhaTime2400_8165.zip
2023/09/15 13:36 273158 SouhaTime2400_12092.zip
2023/09/15 14:16 677329 SouhaTime2400_11558.zip
2023/09/15 14:57 345389 SouhaTime2400_11813.zip
2023/09/15 15:39 1147239 SouhaTime2400_12122.zip
2023/09/15 16:19 20216 SouhaTime2400_12893.zip
2023/09/15 16:59 82066 SouhaTime2400_12162.zip
2023/09/15 17:39 274620 SouhaTime2400_11847.zip
2023/09/15 18:31 154052923 SouhaTime2400_8992.zip
2023/09/15 19:18 173740647 SouhaTime2400_8114.zip
2023/09/15 20:01 38622341 SouhaTime2400_9672.zip
2023/09/15 20:42 1056055 SouhaTime2400_11574.zip
2023/09/15 21:31 111048349 SouhaTime2400_8715.zip
2023/09/15 22:11 219802 SouhaTime2400_11824.zip
2023/09/15 23:02 181090741 SouhaTime2400_8111.zip
2023/09/15 23:45 50058699 SouhaTime2400_8658.zip
2023/09/16 0:26 485985 SouhaTime2400_11576.zip
最適はなんとか18回目に更新出来てますが、
単勝:的中[20.16%] 回収[82.23%] 複勝:的中[47.86%] 回収[83.17%]
枠連:的中[11.82%] 回収[92.16%] 馬連:的中[7.78%] 回収[80.83%]
ワイド:的中[18.53%] 回収[85.86%] 馬単:的中[4.34%] 回収[82.99%]
三連複:的中[3.99%] 回収[72.79%] 三連単:的中[0.78%] 回収[54.03%]
予想[6,314] 的中[3,109] (49.24%) 購入[¥4,360,500] 払戻[¥3,948,770 (90.56%)]
的中率、回収率共にダウンなものでした😖 RMSEってどれだけ誤差が少ないかの指標なんで、着順予測に直結してる訳ではないって事なのかな。
今週末の戦略検討するのに先週の予想を確認してると、予想表示が変わっている事に気が付きました。これ、先々週末の時に前日と当日とかで予想が変わってるのに気が付きましたが、朝の予想はレース発送時点までは変わってないのは確認してます。何かがミスコーディングされてるとしたら嫌な感じです。
TensorFlowには相変わらず苦戦してます。Python環境構築でも苦労したりで...来月には3.12がリリースされるっていうからRC2を入れてみるがTensorFlowが新バージョン未対応で元に戻したりとかね。TensorFlow.NETにも色々バージョンがあったり、TensorFlow for .NETが存在してたり、まだまだ環境自体が微妙なのも苦労させられる原因の一つですね。
LightGBMのGitHubに行ってみると3日前にv4.1.0がリリースされてました。って事で改めてダウンロードしてビルド。そんな裏でも学習プロセスは稼働してたんですがOutOfMemoryの文字が目に入ったので、この際って事でFAQの指示に従おうと確認すると、まあ、キャッシュのサイズ指定を変えるって事なんですが、これが元々は無制限になってまして、これ、逆に制限して意味あるかは別として、うちは実メモリ64GBしか積んでませんので32GB程度にしてみようかと思いましたが、まあ、この際だから(?)40GBって事にしてビルドしてみました。これがどうなるかは何度か動かしてみない事には分からないです。
学習データが200MBとして、その10倍は必要になるって話で2GBです。その20倍用意してるので、これで足りなきゃどうしようもないです。しかし、チラッと見たその辺りの資料に100GB超えのものもあったので何ともです。今後数年すれば128GB積んだPCも普通に組める時代になるかもですけど😜
追記 2023/9/15 19:39
40GBでは相変わらずOutOfMemoryExceptionはあるので50GBにしてビルドし直してみましたが、実行中にコピーしてどうなのかは微妙です。
やはりCSVファイルの大きさからModel Builderで示されている平均学習時間より短いとたとえ回数こなしても良い結果は得られない感じですね。いやまあ、それは当然だと言われれはそうなんですけどね😓 まあ、前回1,000秒の次に選択したのは1,500秒40回です。
2023/09/14 13:50 746578 SouhaTime1500_12045.zip
2023/09/14 14:21 75659232 SouhaTime1500_8472.zip
2023/09/14 14:46 182161 SouhaTime1500_12094.zip
2023/09/14 15:12 379075 SouhaTime1500_11723.zip
2023/09/14 15:37 113010 SouhaTime1500_11969.zip
2023/09/14 16:02 249514 SouhaTime1500_12082.zip
2023/09/14 16:28 698401 SouhaTime1500_11483.zip
2023/09/14 16:54 790689 SouhaTime1500_11466.zip
2023/09/14 17:19 105138 SouhaTime1500_12341.zip
2023/09/14 17:44 186409 SouhaTime1500_12150.zip
2023/09/14 18:09 251044 SouhaTime1500_11875.zip
2023/09/14 19:02 35330180 SouhaTime1500_8736.zip
2023/09/14 19:28 273675 SouhaTime1500_12025.zip
2023/09/14 19:53 79759 SouhaTime1500_12032.zip
2023/09/14 20:19 861538 SouhaTime1500_11698.zip
2023/09/14 20:44 104999 SouhaTime1500_11980.zip
2023/09/14 21:10 1037961 SouhaTime1500_11410.zip
2023/09/14 21:35 72554 SouhaTime1500_12351.zip
2023/09/14 22:02 1691274 SouhaTime1500_11200.zip
2023/09/14 22:27 268791 SouhaTime1500_12089.zip
2023/09/14 23:00 98932105 SouhaTime1500_9666.zip
2023/09/14 23:27 17923794 SouhaTime1500_9240.zip
2023/09/14 23:52 677588 SouhaTime1500_11619.zip
2023/09/15 0:19 43405673 SouhaTime1500_8651.zip
2023/09/15 0:44 49834 SouhaTime1500_12668.zip
2023/09/15 1:10 283343 SouhaTime1500_11937.zip
2023/09/15 1:35 837529 SouhaTime1500_11366.zip
2023/09/15 2:01 463779 SouhaTime1500_11628.zip
2023/09/15 2:27 435365 SouhaTime1500_12027.zip
2023/09/15 2:53 1103468 SouhaTime1500_11717.zip
2023/09/15 3:24 104184350 SouhaTime1500_9679.zip
2023/09/15 3:49 79960 SouhaTime1500_12193.zip
2023/09/15 4:15 199117 SouhaTime1500_11887.zip
2023/09/15 4:40 63591 SouhaTime1500_12655.zip
2023/09/15 5:15 129856020 SouhaTime1500_9685.zip
2023/09/15 5:44 52821808 SouhaTime1500_9701.zip
2023/09/15 6:10 38202202 SouhaTime1500_8437.zip
2023/09/15 6:35 63294 SouhaTime1500_12291.zip
2023/09/15 7:01 269930 SouhaTime1500_11798.zip
40回行っているのによくよく確認すると39ファイルしかないんですが、RMSEが同じで上書きされた可能性かも。14日18:09の次が14日19:02分になってるのでその間のトライアルとそれ以降で一致して上書きされているのかと。まあ、ログで確認すれば...18:35に11980がセーブされているので20:44に上書きされてますね。38回目に最適出てるんですが、それでもこれまでの最適は超えてません。なので1,000秒も1,500秒も時間が短過ぎるんだと思います。
1,000秒 → 0.8282
1,500秒 → 0.8437
2,000秒 → 0.8205
2,500秒 → 0.8136
3,000秒 → 0.8160
これまでの最適は2,500秒なので時間的にはその辺りが妥当なんだと。ただ、回数が違ったのが影響してるかもですが、リニアではない感じなので判断が微妙になる。ただ、可能なら0.8の壁を破りたい。
通常用1,000秒50回を行いました。15時間程度掛かりましたが先程終了。
2023/09/13 21:51 430022 SouhaTime1000_11627.zip
2023/09/13 22:09 37502055 SouhaTime1000_8282.zip
2023/09/13 22:27 833136 SouhaTime1000_11373.zip
2023/09/13 22:46 12094312 SouhaTime1000_10348.zip
2023/09/13 23:04 1810569 SouhaTime1000_11214.zip
2023/09/13 23:21 6919 SouhaTime1000_23135.zip
2023/09/13 23:38 176868 SouhaTime1000_11891.zip
2023/09/13 23:54 154123 SouhaTime1000_12064.zip
2023/09/14 0:28 53251 SouhaTime1000_12131.zip
2023/09/14 0:45 190291 SouhaTime1000_12004.zip
2023/09/14 1:03 455487 SouhaTime1000_12104.zip
2023/09/14 1:21 1424381 SouhaTime1000_11525.zip
2023/09/14 1:38 212444 SouhaTime1000_11827.zip
2023/09/14 1:55 143483 SouhaTime1000_11968.zip
2023/09/14 2:11 67912 SouhaTime1000_12412.zip
2023/09/14 2:33 109471149 SouhaTime1000_8554.zip
2023/09/14 2:50 294649 SouhaTime1000_12167.zip
2023/09/14 3:10 56305143 SouhaTime1000_9671.zip
2023/09/14 3:27 585320 SouhaTime1000_11513.zip
2023/09/14 3:44 240082 SouhaTime1000_11867.zip
2023/09/14 4:02 281797 SouhaTime1000_11936.zip
2023/09/14 4:18 50568 SouhaTime1000_12310.zip
2023/09/14 4:36 657353 SouhaTime1000_11991.zip
2023/09/14 4:53 522535 SouhaTime1000_11903.zip
2023/09/14 5:11 491405 SouhaTime1000_11607.zip
2023/09/14 5:27 218514 SouhaTime1000_11831.zip
2023/09/14 5:44 199988 SouhaTime1000_12304.zip
2023/09/14 6:01 230624 SouhaTime1000_12182.zip
2023/09/14 6:18 52506 SouhaTime1000_13134.zip
2023/09/14 6:35 212483 SouhaTime1000_12036.zip
2023/09/14 6:52 78088 SouhaTime1000_21169.zip
2023/09/14 7:09 199822 SouhaTime1000_11828.zip
2023/09/14 7:26 462420 SouhaTime1000_11790.zip
2023/09/14 7:44 6893866 SouhaTime1000_10560.zip
2023/09/14 8:01 68832 SouhaTime1000_22392.zip
2023/09/14 8:18 125465 SouhaTime1000_12660.zip
2023/09/14 8:35 52463 SouhaTime1000_14397.zip
2023/09/14 8:51 365330 SouhaTime1000_11782.zip
2023/09/14 9:09 358132 SouhaTime1000_12341.zip
2023/09/14 9:26 48361 SouhaTime1000_22783.zip
2023/09/14 9:43 448010 SouhaTime1000_11638.zip
2023/09/14 10:00 158100 SouhaTime1000_12282.zip
2023/09/14 10:16 187402 SouhaTime1000_12162.zip
2023/09/14 10:33 286004 SouhaTime1000_18097.zip
2023/09/14 10:50 468181 SouhaTime1000_11861.zip
2023/09/14 11:07 6578614 SouhaTime1000_8994.zip
2023/09/14 11:24 247376 SouhaTime1000_12217.zip
2023/09/14 11:41 6830 SouhaTime1000_24626.zip
2023/09/14 12:01 75302236 SouhaTime1000_10018.zip
結局これまでの最適を超えるものは出ませんでした。時間を無駄にした感じですが、これもやってみなきゃ分からない事なので、今後の参考にはなるかな。次は1,500秒にするか3,500秒とかにするかが何とも判断し辛いです。
順位2,500秒20回してみました。
2023/09/13 7:47 464009 RaceJuni2500_19683.zip
2023/09/13 8:29 287020 RaceJuni2500_19725.zip
2023/09/13 9:12 384113 RaceJuni2500_19664.zip
2023/09/13 9:54 154176 RaceJuni2500_19788.zip
2023/09/13 10:35 122264 RaceJuni2500_19814.zip
2023/09/13 11:18 576892 RaceJuni2500_19597.zip
2023/09/13 12:01 308365 RaceJuni2500_19710.zip
2023/09/13 12:43 190353 RaceJuni2500_19740.zip
2023/09/13 13:24 85604 RaceJuni2500_19820.zip
2023/09/13 14:06 181645 RaceJuni2500_19780.zip
2023/09/13 14:49 299404 RaceJuni2500_19722.zip
2023/09/13 15:31 334204 RaceJuni2500_19808.zip
2023/09/13 16:13 236373 RaceJuni2500_19769.zip
2023/09/13 16:55 104292 RaceJuni2500_19849.zip
2023/09/13 17:37 112791 RaceJuni2500_20095.zip
2023/09/13 19:00 7151 RaceJuni2500_20737.zip
2023/09/13 19:42 26424 RaceJuni2500_20252.zip
2023/09/13 20:24 170778 RaceJuni2500_19813.zip
結果的には今一でした。6回目が最適でしたが2,000秒の最適は超えませんでした。なので検証もしてません。
TensorFlow.NETなんですが、どうも上手く進められない。更に今後Ver1.0がリリースされるのか何だったか正式名称か何かを募集してた感じ。なので、早々にリリースされるならそこで上手く乗れればと思ってみたり。ってのも、現バージョンはいくつかある様でそのバージョン違いで微妙な違いがあったりで、ネットで見つける先駆者の情報が嚙み合わなかったり。
通常用2,500秒20回をしてみました。
2023/09/12 7:00 59826 SouhaTime2500_12548.zip
2023/09/12 7:42 6919 SouhaTime2500_21994.zip
2023/09/12 8:26 2240640 SouhaTime2500_11604.zip
2023/09/12 9:09 1350758 SouhaTime2500_11766.zip
2023/09/12 9:59 173425459 SouhaTime2500_8449.zip
2023/09/12 10:41 456203 SouhaTime2500_11987.zip
2023/09/12 11:25 12116191 SouhaTime2500_10897.zip
2023/09/12 12:07 199826 SouhaTime2500_12215.zip
2023/09/12 12:50 933746 SouhaTime2500_11633.zip
2023/09/12 13:32 159402 SouhaTime2500_11950.zip
2023/09/12 14:14 458781 SouhaTime2500_11884.zip
2023/09/12 14:57 890778 SouhaTime2500_12142.zip
2023/09/12 15:49 247165665 SouhaTime2500_8231.zip
2023/09/12 16:31 95703 SouhaTime2500_12008.zip
2023/09/12 17:13 336280 SouhaTime2500_11717.zip
2023/09/12 17:55 595154 SouhaTime2500_11607.zip
2023/09/12 18:37 318260 SouhaTime2500_11720.zip
2023/09/12 19:26 147512024 SouhaTime2500_8136.zip
2023/09/12 20:08 152211 SouhaTime2500_11887.zip
2023/09/12 20:50 134492 SouhaTime2500_12220.zip
18回目に最適なRMSE 0.8136が出てくれて一安心。で、いつもの検証ですが、
単勝:的中[21.89%] 回収[83.48%] 複勝:的中[49.89%] 回収[84.63%]
枠連:的中[11.29%] 回収[83.16%] 馬連:的中[7.89%] 回収[81.46%]
ワイド:的中[18.51%] 回収[79.18%] 馬単:的中[4.59%] 回収[84.83%]
三連複:的中[4.37%] 回収[74.51%] 三連単:的中[1.11%] 回収[76.98%]
予想[6,314] 的中[3,241] (51.33%) 購入[¥4,360,500] 払戻[¥4,043,610 (92.73%)]
通常用3,000秒20回が終わりました。
2023/09/11 6:58 727617 SouhaTime3000_11427.zip
2023/09/11 7:59 111843050 SouhaTime3000_8314.zip
2023/09/11 8:52 52451010 SouhaTime3000_8181.zip
2023/09/11 9:42 479920 SouhaTime3000_12078.zip
2023/09/11 10:33 143413 SouhaTime3000_12221.zip
2023/09/11 11:23 91429 SouhaTime3000_12313.zip
2023/09/11 12:19 92940094 SouhaTime3000_9694.zip
2023/09/11 13:09 162057 SouhaTime3000_11966.zip
2023/09/11 14:01 49812041 SouhaTime3000_8529.zip
2023/09/11 14:52 759207 SouhaTime3000_11820.zip
2023/09/11 15:42 117313 SouhaTime3000_12327.zip
2023/09/11 16:33 593628 SouhaTime3000_11893.zip
2023/09/11 17:24 334006 SouhaTime3000_11697.zip
2023/09/11 18:16 8861 SouhaTime3000_14169.zip
2023/09/11 19:07 518268 SouhaTime3000_11564.zip
2023/09/11 19:58 284490 SouhaTime3000_12179.zip
2023/09/11 21:07 271441003 SouhaTime3000_8160.zip
2023/09/11 21:58 625779 SouhaTime3000_12190.zip
2023/09/11 22:48 179535 SouhaTime3000_11884.zip
2023/09/11 23:39 505512 SouhaTime3000_11579.zip
17回目のRMSE 0.8160が最適でした。いつもの目安の検証ですが、
単勝:的中[15.95%] 回収[86.88%] 複勝:的中[37.95%] 回収[80.15%]
枠連:的中[7.32%] 回収[91.02%] 馬連:的中[4.56%] 回収[74.65%]
ワイド:的中[11.75%] 回収[90.17%] 馬単:的中[2.49%] 回収[92.37%]
三連複:的中[2.36%] 回収[102.67%] 三連単:的中[0.41%] 回収[118.46%]
予想[6,314] 的中[2,480] (39.28%) 購入[¥4,360,500] 払戻[¥4,595,460 (105.39%)]
前回の最適よりも的中率が下がるも回収率が上がってます。まあ、誤差レベルのRMSE上昇だとそんな感じもあるのかも。
相変わらずトライアルのエラーもなんですが、タイムアウトでの長時間トライアルの途中での学習終了なんかが気になります。もう一度3,000秒20回をやるか、時間延ばしてやるべきかが悩み所です。
今現在の新馬戦用CSVでは15項目、通常用CSVでは60項目、順位用CSVでは28項目です。機械学習とディープラーニングの違いとかを調べると単純なものは機械学習で複雑になるとディープラーニングが良い感じの話があるようです。通常用の精度がもう一息な感じなのはもしかすると機械学習ではなく、ディープラーニングしなきゃならないレベルなのかもと思い始めてはいましたが、TensorFlowはディープラーニングらしいので調べてはいるのですがなかなか難しいです。ただ、現状から更に上を目指すなら避けて通れない気がしてきました。
今はちょっと別の機能をやり始めたので、これ完成させるには数日掛かるかと思いますので、その後に本腰入れてみます。ただ、単純にコーディングの量をこなすだけなのでCPUパワーは余ってますので通常用の3,000秒20回やり始めました。既に2,000秒の最適は超えたのでちょっと期待です。
新馬戦用は1,000秒20回でまずまずのモデルが得られている感じなので特に変える必要は感じません。通常用と順位はなんともです。新馬戦用の学習でもトライアルがちょっと長引いてタイムアウトでってのはあります。
2023/09/10 3:34 59182 RaceJuni2000_20253.zip
2023/09/10 4:08 188404 RaceJuni2000_20171.zip
2023/09/10 4:41 83293 RaceJuni2000_20228.zip
2023/09/10 5:15 2396160 RaceJuni2000_19582.zip
2023/09/10 5:49 322008 RaceJuni2000_20133.zip
2023/09/10 7:48 16340028 RaceJuni2000_19101.zip
2023/09/10 8:28 146488533 RaceJuni2000_19673.zip
2023/09/10 9:02 36184 RaceJuni2000_20285.zip
2023/09/10 9:36 217199 RaceJuni2000_20200.zip
2023/09/10 10:09 14636 RaceJuni2000_20391.zip
2023/09/10 10:43 142863 RaceJuni2000_20230.zip
2023/09/10 11:16 386012 RaceJuni2000_19916.zip
2023/09/10 12:23 50359 RaceJuni2000_20265.zip
2023/09/10 12:57 172542 RaceJuni2000_20217.zip
2023/09/10 13:35 39641310 RaceJuni2000_19260.zip
2023/09/10 14:08 5736 RaceJuni2000_20738.zip
2023/09/10 14:42 110151 RaceJuni2000_20201.zip
2023/09/10 15:15 57918 RaceJuni2000_20254.zip
2023/09/10 15:49 211943 RaceJuni2000_20241.zip
2023/09/10 16:23 112154 RaceJuni2000_20231.zip
2023/09/10 16:56 172342 RaceJuni2000_20194.zip
2023/09/10 17:30 210605 RaceJuni2000_20197.zip
2023/09/10 18:04 80145 RaceJuni2000_20234.zip
2023/09/10 18:37 113693 RaceJuni2000_20243.zip
順位2,000秒20回ですが、4回の後に止まらない現象が出たので(?)一旦中断して再度20回やったのでちょっと多かったです。最適は6回目に出てます。
単勝:的中[28.27%] 回収[182.10%] 複勝:的中[63.17%] 回収[150.21%]
枠連:的中[16.74%] 回収[214.49%] 馬連:的中[12.04%] 回収[302.18%]
ワイド:的中[28.21%] 回収[273.03%] 馬単:的中[6.25%] 回収[340.38%]
三連複:的中[6.81%] 回収[532.11%] 三連単:的中[1.27%] 回収[771.07%]
予想[6,912] 的中[4,471] (64.68%) 購入[¥4,769,200] 払戻[¥18,967,200 (397.70%)]
参考程度のいつもの検証です。少しでも改善出来る様に時間と回数の調整してみます。
新馬戦用1,000秒20回は5時間半程度で終わるので先に。
2023/09/09 11:39 179216 ShinbaTime1000_12614.zip
2023/09/09 11:56 48617 ShinbaTime1000_13855.zip
2023/09/09 12:13 36997509 ShinbaTime1000_9598.zip
2023/09/09 12:30 1213571 ShinbaTime1000_12852.zip
2023/09/09 12:47 227556 ShinbaTime1000_12983.zip
2023/09/09 13:03 109980 ShinbaTime1000_12718.zip
2023/09/09 13:20 315004 ShinbaTime1000_12243.zip
2023/09/09 13:37 38948 ShinbaTime1000_13194.zip
2023/09/09 13:54 62085 ShinbaTime1000_13392.zip
2023/09/09 14:10 54762 ShinbaTime1000_13181.zip
2023/09/09 14:27 8800912 ShinbaTime1000_9737.zip
2023/09/09 14:44 614565 ShinbaTime1000_12649.zip
2023/09/09 15:04 177169755 ShinbaTime1000_9681.zip
2023/09/09 15:20 40022 ShinbaTime1000_13196.zip
2023/09/09 15:37 113804 ShinbaTime1000_12697.zip
2023/09/09 15:54 73099 ShinbaTime1000_13255.zip
2023/09/09 16:10 127551 ShinbaTime1000_12737.zip
2023/09/09 16:28 46916965 ShinbaTime1000_9766.zip
2023/09/09 16:47 66661701 ShinbaTime1000_9969.zip
2023/09/09 17:03 766378 ShinbaTime1000_13351.zip
3回目に最適が出てますね。
単勝:的中[64.55%] 回収[668.29%] 複勝:的中[90.97%] 回収[255.52%]
枠連:的中[59.52%] 回収[1,055.13%] 馬連:的中[52.51%] 回収[2,706.86%]
ワイド:的中[78.09%] 回収[1,144.97%] 馬単:的中[45.32%] 回収[4,693.14%]
三連複:的中[43.14%] 回収[10,665.42%] 三連単:的中[33.44%] 回収[56,316.99%]
予想[598] 的中[546] (91.30%) 購入[¥408,700] 払戻[¥46,244,320 (11,314.98%)]
この所の新馬戦用はこんな当て過ぎな検証なので、まあこんな感じかなって程度に。通常用は倍の時間掛かるのでまだ半分しか終わってませんが、ここまでの最適なRMSEは0.8205となってます。
単勝:的中[16.77%] 回収[80.40%] 複勝:的中[41.70%] 回収[86.54%]
枠連:的中[8.02%] 回収[77.59%] 馬連:的中[4.74%] 回収[60.45%]
ワイド:的中[12.37%] 回収[71.51%] 馬単:的中[2.34%] 回収[58.22%]
三連複:的中[2.33%] 回収[63.55%] 三連単:的中[0.43%] 回収[36.97%]
予想[6,314] 的中[2,728] (43.21%) 購入[¥4,360,500] 払戻[¥3,333,470 (76.45%)]
まあ、少しはマシですが、ちょっとまだまだな感じはしますね。後半で少し改善してくれれば良いのですが、このままでは実戦には無理っぽいです。
追記2023/9/10 3:05
通常用2,000秒20回が終わりました。
2023/09/09 11:57 327261 SouhaTime2000_11922.zip
2023/09/09 12:47 147707466 SouhaTime2000_9737.zip
2023/09/09 13:25 63475717 SouhaTime2000_8205.zip
2023/09/09 13:58 108016 SouhaTime2000_11998.zip
2023/09/09 14:32 472724 SouhaTime2000_11770.zip
2023/09/09 15:05 354357 SouhaTime2000_11827.zip
2023/09/09 15:41 817692 SouhaTime2000_11402.zip
2023/09/09 16:15 478467 SouhaTime2000_11591.zip
2023/09/09 16:49 511662 SouhaTime2000_11608.zip
2023/09/09 17:22 276208 SouhaTime2000_11755.zip
2023/09/09 17:56 668952 SouhaTime2000_11475.zip
2023/09/09 18:30 171237 SouhaTime2000_11991.zip
2023/09/09 19:03 499462 SouhaTime2000_11736.zip
2023/09/09 19:39 44793754 SouhaTime2000_9703.zip
2023/09/09 20:13 159215 SouhaTime2000_12478.zip
2023/09/09 20:52 126956 SouhaTime2000_12423.zip
2023/09/09 21:26 486510 SouhaTime2000_11605.zip
2023/09/09 22:00 10012431 SouhaTime2000_9203.zip
2023/09/09 22:34 647998 SouhaTime2000_11459.zip
2023/09/09 23:40 232934030 SouhaTime2000_9701.zip
結局あのまま最適の更新は無かったorz
新馬戦用を別に学習しているのに通常用検証時には全レース対象にしてきましたが、新馬戦以外で学習させているので新馬・未出走は検証から外してみたんですが、これが酷い😖
単勝:的中[12.12%] 回収[77.61%] 複勝:的中[32.29%] 回収[84.83%]
枠連:的中[6.24%] 回収[78.39%] 馬連:的中[3.53%] 回収[73.78%]
ワイド:的中[9.09%] 回収[77.93%] 馬単:的中[1.69%] 回収[68.55%]
三連複:的中[1.65%] 回収[42.56%] 三連単:的中[0.30%] 回収[49.67%]
予想[6,314] 的中[2,121] (33.59%) 購入[¥4,360,500] 払戻[¥3,447,220 (79.06%)]
ここまで悪い原因がバグなのか何なのか突き止めないと使い物にならないレベルです。不思議なのはこれでRMSEが0.6791とかなんです。新馬戦用のRMSEが0.9232なのでそれ以上の精度でもおかしくないのに変です。
今、順位の2,000秒20回が終わりました。
2023/09/09 0:07 196884 RaceJuni2000_41186.zip
2023/09/09 0:41 241795 RaceJuni2000_41518.zip
2023/09/09 1:15 152402 RaceJuni2000_41515.zip
2023/09/09 1:48 51905 RaceJuni2000_41614.zip
2023/09/09 2:22 302516 RaceJuni2000_41345.zip
2023/09/09 2:56 169227 RaceJuni2000_41401.zip
2023/09/09 3:29 56364 RaceJuni2000_41615.zip
2023/09/09 4:03 39621 RaceJuni2000_41644.zip
2023/09/09 4:36 969017 RaceJuni2000_41514.zip
2023/09/09 5:10 172104 RaceJuni2000_41230.zip
2023/09/09 5:44 101033 RaceJuni2000_41436.zip
2023/09/09 6:17 5657 RaceJuni2000_43010.zip
2023/09/09 6:50 6341705 RaceJuni2000_36952.zip
2023/09/09 7:24 228994 RaceJuni2000_41346.zip
2023/09/09 7:58 98970 RaceJuni2000_41552.zip
2023/09/09 8:31 110657 RaceJuni2000_41458.zip
2023/09/09 9:05 138835 RaceJuni2000_41449.zip
2023/09/09 9:38 70394 RaceJuni2000_42068.zip
2023/09/09 10:14 1374808 RaceJuni2000_40960.zip
2023/09/09 10:48 22737 RaceJuni2000_42574.zip
13回目の3.6952が最適っぽいですが、↑の通常用の問題抱えたものなので微妙です。
でまあ、気になってたのはファイル名からRMSEだと思ってる数字を頼りに選択してますが、これがもしかしてと思い、試しにSouhaTime2000_13140.zipを検証してみると
単勝:的中[13.62%] 回収[85.79%] 複勝:的中[33.21%] 回収[81.15%]
枠連:的中[5.84%] 回収[71.48%] 馬連:的中[3.15%] 回収[73.99%]
ワイド:的中[8.68%] 回収[74.08%] 馬単:的中[1.74%] 回収[100.82%]
三連複:的中[1.24%] 回収[88.29%] 三連単:的中[0.27%] 回収[116.23%]
予想[6,314] 的中[2,185] (34.61%) 購入[¥4,360,500] 払戻[¥4,325,890 (99.21%)]
となり、RMSEが1.3140だと思うモデルが0.6791と思われるものより良い結果とか。これヒントにコーディング見直してバグ発見!修正してやり直しです。
新馬戦用は問題なく終わってましたが、通常用が残り2回となってましたが、時間が来てもトライアルが終わらない現象が出ました。実はこれ、何回か起きてたんですが、AutoMLの部分の話で自分がどうこう出来る所ではないので、あれ?何これ?って感じでたまたま起きた事象かなって感じにしてました。まあ、仮にレポートしても対応は微妙だし、取敢えずここまでの成果です。新馬戦用は
2023/09/08 9:29 148633 ShinbaTime1000_16842.zip
2023/09/08 9:46 23272496 ShinbaTime1000_11544.zip
2023/09/08 10:03 448739 ShinbaTime1000_13970.zip
2023/09/08 10:20 14079345 ShinbaTime1000_20187.zip
2023/09/08 10:37 38337 ShinbaTime1000_17096.zip
2023/09/08 10:53 516627 ShinbaTime1000_15169.zip
2023/09/08 11:11 69679605 ShinbaTime1000_9232.zip
2023/09/08 11:28 223011 ShinbaTime1000_17058.zip
2023/09/08 11:44 1456861 ShinbaTime1000_15801.zip
2023/09/08 12:01 145938 ShinbaTime1000_17890.zip
2023/09/08 12:18 17334374 ShinbaTime1000_10668.zip
2023/09/08 12:35 531141 ShinbaTime1000_13742.zip
2023/09/08 12:52 137331 ShinbaTime1000_16010.zip
2023/09/08 13:09 31434 ShinbaTime1000_18086.zip
2023/09/08 13:26 273364 ShinbaTime1000_16321.zip
2023/09/08 13:43 387962 ShinbaTime1000_15451.zip
2023/09/08 14:00 153446 ShinbaTime1000_18000.zip
2023/09/08 14:20 114292635 ShinbaTime1000_9297.zip
2023/09/08 14:37 788773 ShinbaTime1000_14789.zip
2023/09/08 14:53 1616981 ShinbaTime1000_13364.zip
ちょっとアプリのダークモード対応化で検索してるとブラウザの拡張機能でダークモード対応ってのを発見。試しにナイトアイ(Night Eye)を発見し、入れてみました。確かに見事に変えてくれます。このブログ書込み時の画面もダークモード対応されて随分楽です。ただ、若干もっさりする感じはします。まあ、今は特に学習プロセスが2つで100%を取り合いしてる感じなので、その影響でなんだとは思います。これらが無ければアドオンでもっさりって事も無いでしょう。後は、このアドオンが悪さしない事を祈るだけですね。
拡張機能検索すると「ダークモード」ってすると結構沢山出てきます。困ってるのは自分だけでは無かった模様。大昔ってか、DOSの自体、更にさかのぼればCP/Mの頃には黒地に白文字は普通だったんですよね。Windowsになって、その辺りがガラッと変わってもう35年位かな。
追記 2023/9/8 13:12
ナイトアイは有償らしい。インストール直ぐには気が付かず、ちょっと色々見てたらお試し過ぎたらフリーモードも有るらしいがどこまで制限されるのか不明。いや、調べるまでもなく削除して他を探す。いや、他に無いならあれですが、沢山ならんでたのでね。で、まあ、本来最初からそうするべきだったかもですが、一番上にあった「ダークテーマ & 夜勤モード」にしてみました。
新馬戦用のCSVファイルは5MB程度なので1,000秒にしてみました。通常用は197MBなので順位より増やそうか迷いましたが、2,000秒で行ってみます。2つを同時に実行するので若干CPUの取り合いにはなりますが、それがどの程度学習に影響するかはなんともですが...本来トライアルが終わるべき時間より長くなる事で1回の時間内で実行されるトライアル数に影響はありますがどうかなぁ。元々新馬戦用は余裕がある筈なのであまり気にはなりませんが、通常用が時間削られると結果が左右しそう。まっ、夜には終わるので結果で判断してみます。
このブログのテーマもダークな物に変更しました。ブログ書いている時の画面はGoogleが用意してくれてないので残念ながら相変わらずの白バックに黒文字なんですが、それ以外は極力ダークに移行しなきゃ続けられそうにないです。
一応、スマホで視力回復アプリを入れて試してみますが、サプリはもう何年も前からブルーベリーとかルテインとか試してますが、ここ数年はアサイーベリーにしてます。世の中のサイトやアプリが全て対応してくれるとは限らないので克服していくしかないですね。
心配していた結果ですが昨夜の結果です。
2023/09/07 18:17 150559 RaceJuni2000_40089.zip
2023/09/07 18:54 60914535 RaceJuni2000_35678.zip
2023/09/07 19:28 83351 RaceJuni2000_40244.zip
2023/09/07 20:01 126584 RaceJuni2000_40305.zip
2023/09/07 20:38 91247323 RaceJuni2000_33841.zip
2023/09/07 21:11 58653 RaceJuni2000_40775.zip
2023/09/07 21:45 24413332 RaceJuni2000_29684.zip
2023/09/07 22:19 137090 RaceJuni2000_40025.zip
2023/09/07 22:52 8422799 RaceJuni2000_32802.zip
2023/09/07 23:26 176168 RaceJuni2000_39954.zip
2023/09/08 0:00 269107 RaceJuni2000_39827.zip
2023/09/08 0:34 78961 RaceJuni2000_40326.zip
2023/09/08 1:07 586675 RaceJuni2000_38042.zip
2023/09/08 1:41 176562 RaceJuni2000_39384.zip
2023/09/08 2:15 78263 RaceJuni2000_40232.zip
2023/09/08 2:48 127740 RaceJuni2000_40090.zip
2023/09/08 3:22 42916509 RaceJuni2000_21090.zip
2023/09/08 3:56 161875 RaceJuni2000_39642.zip
2023/09/08 4:29 43987 RaceJuni2000_40521.zip
2023/09/08 5:03 142138 RaceJuni2000_40069.zip
確かにランダムに学習され結果がまちまちに出てます。17回目に今回の最適が出てます。これ、更に続ければこれを超えるかは分かりませんが、Int32の範囲の違う結果が出る可能性は秘めてるって事ですね。取敢えず、走破予測の方でもこの繰り返し機能追加してやり直しても良いのかもって思えてきました。
単勝:的中[69.40%] 回収[644.76%] 複勝:的中[92.49%] 回収[256.60%]
枠連:的中[69.34%] 回収[1,396.31%] 馬連:的中[64.12%] 回収[3,123.11%]
ワイド:的中[86.33%] 回収[1,264.29%] 馬単:的中[51.37%] 回収[4,757.58%]
三連複:的中[62.12%] 回収[11,863.96%] 三連単:的中[39.22%] 回収[42,995.70%]
予想[6,912] 的中[6,432] (93.06%) 購入[¥4,769,200] 払戻[¥457,315,300 (9,588.93%)]
やはり人力で何度も繰り返すには労力的にも面倒なので繰り返し機能を追加しました。これでまあ指定回数繰り返して学習させて、学習モデル終了時にそのモデルファイルにRMSE値をファイル名に付加してますので、これが低いのを採用すれば良いし、まあ、同じ値ならファイルは上書きされます。
まずは30分を何度かって思ってましたが、繰り返し機能のテストで１分学習を動かしても最後のトライアルがタイムアウトで強制終了とかあるので、なんとなくですがキリが良い感じで2,000秒を20回でスタート。11時間ちょいで終わる予定なので明日の朝には終わってる筈。しかし、初回の6個目のトライアルが既に20分とか嵌ってますorz どんな結果が得られるかです。
どうやらこのCPU占有率低下は他の方も直面してたりする事象っぽいです。ただ、これって自分の場合は長時間学習時のみなんですよね。AutoMLがLightGBMに渡すパラメーターが長時間になると何かが変わって色々な問題が出るのかも。なので長時間学習するのは止める方向で検討します。なので一旦1週間学習も中断しました。
ちょっと色々とGitHubの掲示板なんかで情報あさりながらアイビー先生に質問ぶつけてチャットする中で長時間学習による過学習とかで予測が悪くなるとかもあるとの事でした。それと、ここに機械学習について書き始めた最初の頃にMLContextのインスタンス生成時に指定するシード値の意味が分からないから指定しないって書きましたが、ちょっとだけ理解しました。シード値指定しないとランダムに学習始めるけど、指定すると毎回同じ学習するって事の様です。シード値はInt32らしいので、適切な値を人的に見つけたりってのはかなり現実的ではないと思いますが、ある程度適切な学習時間でシード値指定せずに何度も学習させる事でより良い学習モデルに出会ったらそれを採用するのが適切な感じらしい。
もう随分前に何度か1時間学習をさせて結果を並べた事がありましたが、感覚的にはそういう事の様です。Model Builderの時にデータファイルのサイズから平均的な学習時間の表がありましたが、今のデータ量では30分なのもしかしたら1日やるよりは48回30分学習した方が良いのかも。まあ、実際にはノンストップでは出来ませんってか、まあ、その為のプログラム書けば不可能ではないけど、まあ、それは止めて人力で回数やって行こうかと思います。
LTE対応SIMフリー ホームルーターを昨夜発注しました。家の建替えで4ヶ月程仮住まい生活になるので、その間のネット環境用です。
本体(税込) 15,120円
クーポン -100円
----------------------
支払 15,020円
で、楽天での購入でショップが10倍してて楽天買い回り8倍でトータル2,329ポイント。先月この商品に目をつけた時点では14,200円とかで値上がりしましたが、どうにかな価格で済んだ感じです。まっ、実際にはこれVポイントで全額支払ったので実費的なものは一切ないんですけどね。
回線は楽天モバイルの最強プランで2回線目としてSIMを申込ました。PCのネット環境として利用しますので、毎月20GBは超えるんじゃないかと想定してますので、
最強プラン 3,278円
ユニバーサル等 3円
-----------------------
月々 3,381円
という感じかな。これが実質今月から来年1月までの5か月で16,905円の出費にはなるかと思ってます。2回線目のキャンペーンで1月末まで契約してると1,000ポイントとか貰えるかもですが、解約のタイミングが未定ではあります。次の光の選定と工事日の都合とかで多少は伸びるかもです。3月末まででフルの3,000ポイント対象にはなるんだとは思いますが、スピードなんかに支障がなければ気長に行きますが、やはり光が早急にって事だと待てないかも。
期間は短いと後から延ばせないけど、長く設定しても中断は何時でも出来るので今回は1週間でスタートしてみました。既に20個過ぎのトライアルが嵌り1時間経過してますが、タスクマネージャー確認するとCPU90%以上使ったりしてるのでまだ大丈夫かと。前回のは20%程度を上限に数%低度だったりで仕事してなさげでしたので😓
今のAutoMLプロセスは最適が見つかる度にセーブしてるので、今週末に間に合う段階で良いものがセーブされていれば採用してみようかとは思います。そもそも先日5日間スタートさせたのもモデルの更なる向上が目的でしたので方針は変わりません。
ちょっと色々と整理する必要があり、山の様にあるCD/DVDなんかの市販されていたものはほぼ全てNET OFFとかで処分。初回限定盤とか以外ははっきり言ってゴミレベルなんですね😨 最悪1枚1円とかですよ。ああっ、値段すらつかない正真正銘のゴミも有りましたけど。
それ以外でもパソコンのデータのバックアップとかデジカメのデータとかムービーとかなんですが、まあ、パソコンのバックアップとかはそれ程重要ではない物が多かったりします。その昔色んなソフトとかダウンロードして使ってたものをバックアップしてたりしたんですが、そんなのバージョンが古いとか、そもそも使わないとかですしね。デジカメのデータは既に娘に悪い事したのもあったり...高校の修学旅行の写真のデータをどうやらバックアップしてないままSDカードが読込負荷になってたりして消失。自分はまあちょっと環境が違ってたりしましたが、高校時代の写真が基本1枚しか残ってません。それ以外はちょっとした事情で消失。この時代は当たり前ですがネガなんですが、自分の卒業式の写真とか親友が撮影してくれてたんですが、そのネガを友人が失くし、写真を自分の不始末で失くしてます。
で、まあ、光学メディアは永遠か?的な話は昔から言われてましたが、何時焼いたものかも記憶にないレベルのものはCRCエラーとかで読めないとかなんですね。で、今回お世話になっているソフトが CDCheck というアプリです。これ基本個人が使う分には無料な奴で、これ以外にもこれよりちょっと高機能(?)な有料なものとかもあるんですが、$60とか個人でもかかるんです。今のレートだと9千円弱ですかね。その金額で確実に救われるなら払いますが、エラー見付けてダメだよって話ではねぇ。
あと、一応以前は持っていたんですが、まあ、仮に見つけても10年以上前の物なんで、今回新たにドライブのピックアップレンズのクリーナーも発注してみました。
どうやらDVD-RAMは若干ってか、まあ、そもそもDVD-Rとかとは別物なんで事情が違うのかもなんですが、こちらの方がもしかすると安全なのかもしれないです。だいたい20年程前に書き込んだものが...まあ、ファイルの更新日付なので書き込んだのは別の日付の可能性はありますが、普通に読めてたりします。今後のバックアップメディアの選定にも気を付けたいと思います。
ダメ元って事でもないんですが、やってみなきゃ何ともならんと思い、NuGetからイントールしましたが、どうも上手く行きません。確かにTensorFlow.NETは明確に.NET 7対応してるとはなってなくて、.NET 6となっており、自分のプロジェクトは.NET 7だったので一旦.NET 6にもしてみたんですが、改善せず。更に気になる事は、Microsoft.ML.AutoMLを当然入れてますが、これでインストールされているTensorFlowのモジュールのバージョンが0.20.1なんです。つまり、TensorFlow.NETを入れるとそのモジュールのバージョンが古いものに戻されます。
これじゃあダメだとTensorFlow.NETをアンインストールするも該当モジュールを元に戻してくれる訳じゃないので沢山のエラーが出てしまい、仕方なく全てのNuGetでインストール済みの物を一旦アンインストールしてから、まあ、なんだかいっぱい入れてたけど本当に必要なのは
しかし、年齢的になのか、ここ最近のコーディング作業諸々で毎日目を酷使してるのが悪いのか、本当に目がヤバい😵 特にダークモードじゃない奴がキツイです。自分のアプリも真剣にダークモードにしたいけど、以前調べたら簡単じゃなかったんですよねぇ。このブログも白バックなんで辛いです。
ハマったトライアルは41時間超えました。明日朝も進んでないようだと考えなきゃかな。しかし、昼には20ギガ辺りつかんでたのに今は5ギガまで下がってるんで...まあ、これまで長時間だとOutOfMemoryとかになってたのに、それを回避して長々と...オーバーフローも起きずにひたすらやってるのかなぁ。判断に非常に困ります。
追記 2023/09/05 18:25
TensorFlow.NETが上手く行かなかったので、単独のテストプロジェクトで試してみたんですが、アイビー先生が教えてくれた"using TensorFlow;"が悪かったorz 確かにNuGetからインストールするのは"TensorFlow.NET"ですが、"using Tensorflow;"と"F"が大文字ではなく"f"と小文字が使われてます。まあ、そんなのもAIが自動生成したコードのちょっとしたミスですが、更にその後問題があり有りもしない型が使われているサンプルなので断念です。
昨日も書きましたが、未だに嵌ってます。36時間超えとかは流石に今まで無かったです。まあ、以前は多分ここまで長いとプロセス自体が死んでたかもですが😓 メモリは上下してるのでGCで開放されたりしてるんだとは思います。ただ、これ、別にCPUガンガン使っているんじゃなく少ないと一桁、ちょっと使っても20%ちょっととかなんですよね。価値のある事をしてくれているなら待っても良いんですが、まさか5日間学習でこのまま終わるとかは考えたくないですね。
TensorFlow.NETの方は色々と読んでますが中々的を獲たサンプルとかに巡り合わないので難儀してます。もう少し分かりやすいサンプルが提示されれば、それ参考に色々と試せるんですが、基礎の基礎から読まされても、そもそもの基礎がないので入り込めないです。突破口を探し当てるまで頑張るしかないですね。
昨夜、順位5日間学習スタートさせたんですが、開始2時間半程度で嵌り、既に21時間超えてます。ちょっとしばらくぶりで最長どの程度だったか記憶に残ってませんが、24時間とかは有ったかと思うので、明日朝には進んでくれている事を願います。プロセスが死ぬのだけは避けて欲しい所です。LightGBMが最新になってちょっとメモリ管理が良くなっていれば...
長い時間ただ待っているのもあれなんで、色々と情報は集めてます。アイビー先生やグーグル先生の力を借りて多変量回帰モデルの学習をLightGBM使ってコーディングしてみたんですが、エラーが出て行き詰ってます。LightGBM自体は対応しているってアイビー先生は言うので信頼して取り組んだんですが、エラー関連も情報与えたら、ぶっちゃけコーディングは自信ないのでごめんなさいって。
そこで次の照準をTensorFlow.NETにしてみました。頼りにしてるお二人は微妙なんです。なので本家(?)ってかまあそんな感じのページでサンプル見てるんですが、AutoMLはもう少し楽に実装迄こぎつけましたが、サンプルが微妙で何とも理解に苦労してます。多変量回帰モデルの学習迄行ければと期待しながら頑張って理解してみようかと。
先週の土曜日なんかもそうでしたが、1日だけでは判断し辛いですが、まっ、取敢えず本日は回収率58%程度で残念な結果でした。的中率も酷いものでした。このまま土曜日にも続行する予定ではありますが...
AIとはいえ、別に未来予測が得意という事ではなく、単に確率ゲームで少しでも確率を上げているだけなので、これもまあ運ですね。ただ、運用方法を少し考える必要はあるのかとは思います。今の学習済みモデルをしばらく試すか、毎週新たに最新迄の学習用データを準備して全ての学習をしなおすのかとかね。それこそデータがないので、まっ、来週末に向けてはこのモデルで行く予定にしておきます。よほど何かバグとか重要インシデントがあれば変更します。ただ、徐々に今月は時間的な制約や諸々あるのでどこまでやれるかは頑張ってます出来る限り最善な方法で行くしかないですね。
ああっ、ただ、予想以外な部分にバグがちらほらと。的中判定で的中としてるのに金額が設定されていないとか、本日の集計周りに問題があるっぽいので確実につぶしていきます。
随分と昔に２千円程毎月納めてグリーンチャンネル契約してた事もありました。レーシングビューアーも検討したりした事もあったり、自分のアプリにもレーシングビューアー対応させようかとかも少し思った事も有ったんですが、この秋からとかちょっと記憶が定かではないのですが、スマホアプリだけだったかまあ、無料でレース中継が見れるようになるとかなんとか。先週土日でほぼ全レースに投票してた時に少し即PATサイトで少し遅れのレース中継みたりしてましたが、本日朝一番で全レースに投票しましたので様子見でまた即PAT眺めていると、先週は有ったか記憶にはありませんが、「投票メニュー」トップから「レース情報を見る」に進むと
順位24時間学習も終盤で、気が付くとベスト更新でセーブされてたので検証してみると、先日の新馬用の様な異様なものになってました。まあ、これも先週末までの学習データを元にして2021年～2022年の検証なので学習期間内の検証であくまで状態チェックではあるんですが、
単勝:的中[50.23%] 回収[395.23%] 複勝:的中[89.28%] 回収[227.08%]
枠連:的中[43.50%] 回収[750.74%] 馬連:的中[38.59%] 回収[1,467.64%]
ワイド:的中[68.10%] 回収[831.61%] 馬単:的中[24.48%] 回収[1,708.94%]
三連複:的中[33.58%] 回収[4,293.16%] 三連単:的中[11.98%] 回収[8,301.16%]
予想[6,912] 的中[6,213] (89.89%) 購入[¥4,769,200] 払戻[¥123,727,530 (2,594.30%)]
これまでは回帰モデルで色々とやってきました。言葉を知らなかったのですが、複数ファクターから複数ファクターを予測するのを「多変量回帰」というらしい。今実装している順位予測にはこれが欲しかったのですが、まあ、自分の勉強不足ってか、結果的にはAutoML自体が複数の目的変数をサポートしていないって事の様で、アイビー先生やグーグル先生に質問しても回答が得られなかったのはそんな理由からなんだと思います。自動機械学習では諸々調節して最適なモデルをって感じにしてくれますが、では、単に機械学習という感じにした場合はどうなのか。先日のLightGBMなんかでは可能っぽいです。なので、その辺りのコーディングにチャレンジしてみようかとは思います。
あっ、通常用24時間学習はやはりあのまま終わりました。つまり、22時間程度は無駄になってる感じです。更に言うと、最後のトライアルは18時間程やっている途中で時間切れです。また3日間学習とかをチャレンジしなきゃなのか悩みます。一応検証もしてはみました。
単勝:的中[21.22%] 回収[121.53%] 複勝:的中[48.13%] 回収[95.96%]
枠連:的中[11.99%] 回収[134.41%] 馬連:的中[8.77%] 回収[189.72%]
ワイド:的中[19.72%] 回収[136.63%] 馬単:的中[5.14%] 回収[271.69%]
三連複:的中[5.60%] 回収[348.22%] 三連単:的中[1.53%] 回収[673.04%]
予想[6,912] 的中[3,406] (49.28%) 購入[¥4,769,200] 払戻[¥13,531,930 (283.74%)]
最新バージョンのLightGBMでも、結局
通常用の学習ですが、10時間で行こうと思ってたんですが、念の為(?)24時間学習で開始してました。途中のベストをセーブする機能を以前追加してるので、まあ、適当なタイミングで停止も出来るしって判断からだったんですが、昨日9時前にスタートし、14時半頃に114トライアルがはまり、未だに進みません😖 以前数日間とか学習させた時にも24時間超えるトライアル有りましたのでこれも仕方ない感じなんですが、残り2時間程度で終了時間きますがこのまま終わりそう。現時点のベストは学習開始2時間程度なんです。この無駄な時間を出来れば無くしたいです。
実は、この結果を見越してって事ではないんですが、その2時間程のベストを採用して順位学習CSV作成して、その24時間学習を昨夜スタートしてたりします。そのCSV作成が妙に時間掛かり4時間弱でした。裏で学習が動いてた影響何だと思いますが、これはどうしようもなかった。あっ、その2時間程のベストを採用した理由はRMSEが1.266023698201832なんです。これまで確かModel Builderでの最適は1.4未満はありませんでした。これが採用の判断基準です。
同じ様な考えで行くと、順位学習の今現在のベストは開始2時間弱のものなんですが、これはまだRMSEが4.4位でこれまでのModel Builderの最適(4.0183)におよびません。こちらが良いものが出来れば良いんですが...
アイビー先生とグーグル先生に質問ぶつけました。先日は今一上手く実装出来なかったんですが、まあ、どうにか理解して実装にこぎつけました。
mlContext = new MLContext(); var model = mlContext.Model.Load(modelPath, out var modelSchema);
こんな感じで学習済みモデルを読み込んで、
ColumnInferenceResults columnInference = mlContext.Auto().InferColumns(this.CSV_name, labelColumnName: "Souha", groupColumns: false); TextLoader loader = mlContext.Data.CreateTextLoader(columnInference.TextLoaderOptions); IDataView data = loader.Load(this.CSV_name);
テストデータ(学習データ)を読み込み、
var predictions = model.Transform(data);
テストデータを使用して、学習済みモデルの予測を生成し、
var metrics = mlContext.Regression.Evaluate(predictions, columnInference.ColumnInformation.LabelColumnName); var rmse = Math.Sqrt(metrics.MeanSquaredError);
予測とテストデータの実際の値を比較してRMSEを計算する。モデルによってはこれが20分以上とか掛かったりします。でも、これが分かるとやはりモデルの評価が分かりやすく感じます。例えば、先日の化け物的な新馬用なんですが、RMSEが1.03318057123648なんですよ。なので当然ながら学習期間内の検証では信じられない結果になります。当たり前ですが、比較したModel BuilderのモデルのRMSEは2.0112と随分と違うのでって事ですね。
昨夜から10時間学習させている時に初めて見るエラーが出てました。
failed with exception LightGBM Error, code is -1, error message is 'bad allocation'.
まあ、このトライアル4時間半程掛けてこのエラーで終わってるんですが、ここ最近は1時間超えるトライアルが記録させていないんですが、ほぼ全て長いものはエラーで終わってるからなんですよね。そろそろ終わりますが、エラー7回、1分以上10回今93トライアル中ですが既に1時間半なんでこのままタイムアウトで終わりかな😔
色々とLightGBMの事も含め調べる日々なんですが、LightGBMの最新版はv4.0.0で今年の7月14日リリースらしい。これまで使われていた.exeの日付が2019/11/27だったので4年程前なので劇的な変化があっても不思議じゃないです。.exeのサイズだけでも3倍だし😜
新しい.exeにして取敢えず1時間学習開始してみました。普通にLightGBMのトライアルも行われているので最新版の実力拝見ですね。これが上手く行くなら、しばらくはModel Builderは使わなくて良くなるんですが、そうすると真剣にAutoMLでRMSEが表示出来るようにしなきゃと思えてきました。いや、実は少し試してはみたんですが、プロパティが0で上手く取得出来なかったんです。もう少しやって見なきゃです。
今回GitHubからソース取ってきてビルドしたんですが、やはり何でもかんでも楽しちゃダメって事ですね。フルのプロジェクトが提供されているのでVisual Studioで単にビルドする手間を掛けるだけ。
あっ、LightGBMから今回はたどってやったんですが、そこのFAQにもメモリ不足になったらコンパイルオプション変更してビルドすればって説明があったので、もし今後出る様だったらそれもチャレンジする必要があるかも。
追記 2023/09/01 8:48
1時間学習が終わって検証。
単勝:的中[15.09%] 回収[81.76%] 複勝:的中[38.08%] 回収[81.51%]
枠連:的中[7.04%] 回収[84.65%] 馬連:的中[4.21%] 回収[70.75%]
ワイド:的中[10.76%] 回収[77.56%] 馬単:的中[2.07%] 回収[57.88%]
三連複:的中[1.95%] 回収[69.34%] 三連単:的中[0.32%] 回収[27.75%]
予想[6,912] 的中[2,724] (39.41%) 購入[¥4,769,200] 払戻[¥3,751,400 (78.66%)]
追記 2023/09/01 8:58
昨夜の10時間では
単勝:的中[16.00%] 回収[94.73%] 複勝:的中[38.76%] 回収[83.89%]
枠連:的中[6.96%] 回収[84.38%] 馬連:的中[4.47%] 回収[71.54%]
ワイド:的中[12.17%] 回収[83.35%] 馬単:的中[2.39%] 回収[81.69%]
三連複:的中[2.37%] 回収[98.83%] 三連単:的中[0.39%] 回収[191.86%]
予想[6,912] 的中[2,776] (40.16%) 購入[¥4,769,200] 払戻[¥5,404,080 (113.31%)]
