Model Builderの学習データサイズの限界?

先日フル順位予測学習データサイズが1.08GBになりModel Builderが進まなくなったと書きましたが、何となくな予想的中で、実はファクター追加時に標準偏差と偏差値はダブルにしてたんです。これをCSVに出すと桁数も多いので当たり前ですがファイルがデカくなります。そもそも、自分の記憶ではML.NETだったかautoMLだったかでは学習データの基本はシングルなんです。なのでダブルにする必要性は疑問があるのでCSV出力に修正をしてシングルとしてファクター追加してCSVの再出力してみたら924MBで収まり、これだとModel Builderが普通に処理してくれてます。

ちょっとした手違いで昨夜24時間学習スタートさせたんですが、多少の違和感有りながら就寝。今朝出勤前に起床してPC確認して違和感が自分がModel Builderが小さい学習データなら行けるってのを確認する為に作成した1992.1.1～1992.1.31のデータで6時間程学習させてる事に気が付き即座に停止。本来の1992.1.1～2023.12.31の924MBデータでの学習を24時間で再スタート。既に12時間以上経ってますがここまでの最適RMSEは2.8796です。autoMLで行ったものを更に超えたものになりそうです。

若干今晩ってか現時点で線状降水帯が発生する可能性云々で停電に備えましょう的なメールが建築メーカーからメールが来てました。最悪なのは多分停電でPC落とされるとここまでの学習がパー! 自分のAutoMLプロセスではそれを避ける為に長時間学習でも適時モデルのセーブをしてます。まっ、これもこれまでの経験からですね😉

ここで一旦中止すればModel Builderも今の最適モデルをセーブしてくれます。が、そこから例えば残り11時間の学習を再スタートしたからってここまでの学習を基に継続してくれるのか、単に再度新たな学習をスタートするのか不明なのも困った所です。中断はせずに、明日朝に終了するのを待つ事にします。