学習時のCSVデータの使い方

退院後帰宅して早速PCに向かって相変わらずなんですが、Geminiがふと、学習データって一定割合で分割して学習用(train)と検証用(test)に分けて行われるのは知ってました。で、まあ、これって基本8:2とかでランダムに分割されて学習し検証されるんです。しかし、Gemini曰く、時系列の学習データをランダムに分割すると未来のデータを基に過去の予測するパターンも出てチートしてる事が指数に過剰に良く出る事があるから時系列的に過去と未来で学習と検証するべきですって話になり、その修正して再学習させてます。

まあ、取り掛かったのは当然今やってたランキング学習になんですが、これ、実際にはこれまでの回帰モデルにも言える事なので全モデルの学習しなおしになりそうorz

しかし、良いのか悪いのか、予測精度が落ちてる。これまで単勝27%、複勝58%、ワイド27%程度まで的中率が来てたのに、一律に2%程度落ち込んでるのでパラメーター調整からまた始めてます。

NumberOfLeaves: 351
NumberOfIterations: 5000
LearningRate: 0.007
MaximumBinCountPerFeature: 47
MinimumExampleCountPerLeaf: 120
FeatureFraction: 0.75
SubsampleFraction: 0.8
CustomGains: 0～250 = 0点, 251～1000は0.95乗に0～1000点

これを20回でスタートさせて今晩は寝ます。明日は久しぶりに出勤するので早めにね。これ単純に1回15～18分程度掛かるので6時間程度かかる筈で、朝4時頃に終わる予定。

[Loop 1] NDCG@1 = 0.7673
[Loop 1] NDCG@3 = 0.7747
[Loop 1] NDCG@5 = 0.7906
[Loop 1] NDCG@10 = 0.8511

3,455R	1点	芝(1,689R)	ダート(1,646R)	障害(120R)	8頭以下(219R)	9～12頭(809R)	13頭以上(2,427R)	多点
単勝	25.96% (80.43%)	25.46% (79.42%)	26.12% (80.35%)	30.83% (95.58%)	38.81% (94.98%)	27.69% (85.97%)	24.23% (77.26%)	55.46% (78.15%)
複勝	56.64% (84.31%)	56.78% (83.76%)	55.95% (84.77%)	64.17% (85.83%)	72.15% (90.05%)	61.93% (86.29%)	53.48% (83.14%)	88.08% (82.56%)
枠連	14.63% (78.57%)	14.05% (83.95%)	14.68% (71.57%)	22.22% (113.23%)	-- (--)	16.81% (81.90%)	12.98% (72.47%)	30.37% (77.97%)
馬連	11.72% (78.36%)	11.66% (80.31%)	11.36% (75.26%)	17.50% (93.50%)	23.74% (75.66%)	13.47% (70.06%)	10.05% (81.38%)	24.60% (74.14%)
ワイド	25.56% (80.42%)	25.93% (80.65%)	24.79% (80.34%)	30.83% (78.17%)	48.86% (92.47%)	30.28% (79.16%)	21.88% (79.75%)	46.74% (79.53%)
馬単	6.51% (75.95%)	6.16% (72.31%)	6.68% (80.58%)	9.17% (63.67%)	11.87% (76.07%)	7.17% (67.64%)	5.81% (78.71%)	24.60% (70.69%)
三連複	6.31% (72.07%)	6.93% (59.05%)	5.65% (86.99%)	6.67% (50.58%)	18.72% (82.88%)	9.15% (75.51%)	4.24% (69.95%)	15.05% (68.96%)
三連単	1.48% (73.92%)	1.72% (70.46%)	1.28% (78.78%)	0.83% (56.08%)	5.02% (155.75%)	1.85% (39.25%)	1.03% (78.10%)	15.05% (65.91%)
総合	57.71% (78.00%)	57.79% (76.08%)	57.11% (79.88%)	65.00% (78.83%)	76.26% (95.41%)	62.67% (73.22%)	54.39% (77.59%)	88.36% (70.51%)

こんな感じでこれまで以上に低調^^;