ディープラーニングでの、データとニューラルネットワークが大規模化していくにしたがって、トレーニングで利用するハードウェアにはスペックの高いものが求められる。
モデルのトレーニングに特化したGPUの利用がベストだとしても、そのコストがボトルネックになることがあるだろう。
こうしたなか、ライス大学の研究者が汎用的なCPUでも高速なトレーニングが可能なことを示した。研究者が開発したアルゴリズム「SLIDE(Sub-LInear Deep learning Engine)」は、従来のフレームワークとは全く別のアプローチでのトレーニングを実行する。
・GPUによるトレーニングの3.5倍速を実現
GPUは、CPUと比べて多くのコアを搭載可能。その演算処理性能の高さから、ディープラーニングにとってなくてはならない存在だ。
AIの進化はGPUの進化とともにあるといっても過言ではなく、なかでもNVIDIA V100は、ディープラーニング性能で100テラフロップス (TOPS)の壁を初めて突破し、金字塔を打ち立てている。
ところが今回、Intel Xeonプロセッサー(44コア) × SLIDEは、大規模アーキテクチャと推奨データセットによる評価で、NVIDIA V100 × TensorFlowの3.5倍のトレーニング速度をたたき出した。
・同じハードウェア構成ではTensorFlowの10倍速
SLIDEでは、マルチコア並列処理とワークロードの最適化により、トレーニングと推論での計算量を大幅に削減できるようだ。
これにより、NVIDIA V100 × TensorFlowで3.5時間を要するトレーニングを1時間に短縮。また同じCPU構成では、TensorFlowを用いたトレーニングの10倍速を実現したとのこと。
特別なGPU不要で高速なトレーニングができることが示されたのは目から鱗。もちろん、すべてのアーキテクチャで同じ結果になるわけではないが、今後のさらなるアルゴリズム最適化により、ディープラーニングでのCPU利用もぜんぜんあり……という話になるかもしれない。
- Original:https://techable.jp/archives/118651
- Source:Techable(テッカブル) -海外・国内のネットベンチャー系ニュースサイト
- Author:YamadaYoji
Amazonベストセラー
Now loading...