2023/09/15

LightGBM v4.1.0

LightGBMのGitHubに行ってみると3日前にv4.1.0がリリースされてました。って事で改めてダウンロードしてビルド。そんな裏でも学習プロセスは稼働してたんですがOutOfMemoryの文字が目に入ったので、この際って事でFAQの指示に従おうと確認すると、まあ、キャッシュのサイズ指定を変えるって事なんですが、これが元々は無制限になってまして、これ、逆に制限して意味あるかは別として、うちは実メモリ64GBしか積んでませんので32GB程度にしてみようかと思いましたが、まあ、この際だから(?)40GBって事にしてビルドしてみました。これがどうなるかは何度か動かしてみない事には分からないです。

学習データが200MBとして、その10倍は必要になるって話で2GBです。その20倍用意してるので、これで足りなきゃどうしようもないです。しかし、チラッと見たその辺りの資料に100GB超えのものもあったので何ともです。今後数年すれば128GB積んだPCも普通に組める時代になるかもですけど😜

追記 2023/9/15 19:39
40GBでは相変わらずOutOfMemoryExceptionはあるので50GBにしてビルドし直してみましたが、実行中にコピーしてどうなのかは微妙です。

0 件のコメント:

コメントを投稿