検証プロセスのスピードアップ

 ここまで何度もやって来た2年分の検証なんですが、大体60分前後掛かってました。もう少し高速化出来ないか、ちと手を入れてみました。データはSQLite3のデータベースファイルに入れてますので基本はそこから読み出してって事なんですが、Data Labのデータは1つの10ギガ超えの巨大なファイルに入っていて、そもそもの機械学習のファクターとして別データベースに格納してる分析データを使用してます。まあ、これ、元々はData Labのデータを元に集計したものなので集計前のデータを利用する手もあるとは思うけど、スピードアップを目的に分析済みデータを使ってます。で、これ、2種類使ってるんで毎回ってか毎レース予想するのに2回接続して値取得後に閉めてなので、これがネックにはなってるかなって事で、Data Lab側のデータベースもそうですが、2つのデータベースを検証開始時に接続してコマンドとパラメーター部も準備しておいて検証中は使い回し、検証終了時に全て閉めるに変更しました。この修正によって検証時間は1/3に短縮して20分弱となったので今後の作業にも良かったかと😃