
PetaFLOP/s-daysとは
PetaFLOP/s-days は、モデルの訓練に使用された計算リソース量を表す単位です。
Peta は (1,000兆)を表します。
FLOP は Floating Point Operation(浮動小数点演算)の略です。
s は、second (秒)です。FLOP/s は毎秒あたりの演算回数です。
s-days は、1日を秒で表現したもの(1日 = 86,400 秒)です。
よって、FLOP/s-days は、1秒あたりの演算量(FLOP/s)を1日にわたって合計した演算回数を示す指標です。PetaFLOP/s-days は、それを1,000兆単位にしたものです。
1 PetaFLOP/s-daysの演算量は、以下のように計算できます。
同じ 1 PetaFLOP/s-day でも、コンピュータの性能によって訓練にかかる時間は異なります。
性能が1 PetaFLOP/sのマシンを1日間使う
性能が10 PetaFLOP/sのマシンを0.1日(約2.4時間)使う
性能が100 PetaFLOP/sのクラスタを0.01日(約14分)使う
これらはすべて同じ 1 PetaFLOP/s-day の総演算量となりますが、性能が良いマシンやコンピュータのクラスタを組んで並列処理することで時間は短縮されます。
この指標は、モデルの訓練に使われた総計算量を示すのに便利で、異なるマシンや設定でも簡単に比較できます。特に、同じ性能のマシンであれば、訓練時間を比較しているのと同じ意味になります。