ML Commons

ML Commonsとは、機械学習アプリケーションのベンチマークであるMLPerfの管理を行う団体のこと。

website: github:

2022/06/14時点でのベンチマーク項目は下記。

• Training
• Training: HPC
• Inference: Datacenter
• Inference: Edge
• Inference: Mobile
• Inference: Tiny

また提供されているデータセットは

• Multilingual Spoken Words People’s Speech

関連記事一覧

• 2018/10/02: 機械学習の性能と品質を測る、新ベンチマークMLPerfが登場, 日経XTECH
• 2020/07/29: TensorFlow 2 MLPerf submissions demonstrate best-in-class performance on Google Cloud, Tensorflow
• 2020/07/30: Google が世界最速のトレーニング スーパーコンピュータで MLPerf の AI パフォーマンスの記録を塗り替える, Google
• 2020/07/30 NVIDIA が最新の MLPerf ベンチマークで 16 の AI 性能の記録更新, NVIDIA A100 GPU と DGX SuperPOD システムが、AI トレーニング向け商用製品として世界最速に認定, NVIDIA
• 2020/11/19: 機械学習処理ベンチマークMLPerf HPCにて最高レベルの速度を達成(日本のスーパーコンピュータシステムで計測したアプリケーション性能が上位を独占), Fujitsu
• 2020/12/14: 富士通のHPCクラスタへの取り組み A64FXにおけるAIライブラリ開発状況と MLPerf HPC登録値について, Fujitsu
• 2021/01/25: MLPerf、HPCトレーニングベンチマークを発表, HPCwire Japan
• 2021/12/28: スパコン富岳が4期連続4冠を獲得した意義とは, ASCII
• 2022/01/11: MLCommons、最新のMLPerfトレーニングベンチマークの結果を発表, InfoQ

ML Perf

そこで機械学習（ディープラーニング）の世界においても容易に性能比較が出来るように、DellEMC、Google、IntelなどのIT企業 と UC Berkeley（カリフォルニア大学バークレー校）や 米スタンフォード大学などの大学・研究機関などが連携して策定した機械学習ベンチマーク 「MLPerf」 が策定されてきました。 https://japancatalog.dell.com/c/isg_dl_mlperf/

-

MLPerfは、2018年5月に、機械学習アプリケーションを実行するシステムの性能リストを作成することを目的に設立された機械学習ベンチマークCommunityです。これまで膨大な時間を要していた規模の機械学習計算をスーパーコンピュータを使って行った時の性能評価を行うため、MLPerfは新たな機械学習ベンチマークとしてMLPerf HPCを策定しました。世界各国のスーパーコンピュータで利用され、新たな業界標準として期待されています。 https://pr.fujitsu.com/jp/news/2020/11/19-1.html

githubによると、

• 16個のCPU、1個のNvidiaP100
• Ubuntu 16.04
• 600GBのディスク

詳細はarxivに記載されている。 https://arxiv.org/abs/1910.01500

ベンチマークはClosedとOpenの2種類がある。 Closedはファレンス実装と同じ前処理、モデル、訓練方法である決められた精度にモデルを訓練するまでの時間を測る。Openはトレーニングデータから前処理、モデル、訓練方法を好きなものを使用できる。 ので、Closedはハードウェア側の、Openはソフトウェア側の性能評価と言って良さそう。

ベンチマークに参加したい場合はまずはコミュニティに参加、とのこと。

MLPerf HPC

MLPerf HPCは機械学習を活用する実アプリケーションを題材に、機械学習処理で必要となるソフトウェアを含めたシステム全体としての処理性能を評価します。HPL-AIは、機械学習処理で活用される単精度や半精度演算器などのハードウェアそのものの基礎性能が評価されます。 今回のMLPerf HPCはv0.7として、スーパーコンピュータを利用しなければならない大規模の機械学習性能を測定することを目的として、「CosmoFlow」と「DeepCAM」の2つの実アプリケーションで性能評価が実施されました。 https://pr.fujitsu.com/jp/news/2020/11/19-1.html

-

これまで膨大な時間を要していた規模の機械学習計算をスーパーコンピュータを使って行った時の性能評価を行うため、MLPerfは新たな機械学習ベンチマークとしてMLPerf HPCを策定した。MLPerf HPCでは、宇宙論的パラメータを予測する「CosmoFlow」と異常気象現象を特定する「DeepCAM」という2本のベンチマークプログラムのそれぞれにおいて性能を競う。 https://iotnews.jp/archives/160780

MLPerf モデルの概要

MLPerf モデルは、産業界と大学、研究施設で共通して使用される、最先端の機械学習ワークロードを表すモデルとして選ばれました。ここでは、上の図の各 MLPerf モデルの詳細について説明します。

• DLRM は、メディアから、旅行、e コマースに至るまでのオンライン ビジネスの中核をなすランキングと推奨モデルを表します Transformer は、BERT などの自然言語処理における最近の進歩の基盤となります
• BERT は Google 検索の「過去 5 年で最大の躍進」を可能にしました
• ResNet-50 は、広く使用されている画像分類用のモデルです 0 SSD は、モバイル デバイス上で実行できる軽量なオブジェクト検出モデルです
• Mask R-CNN は、広く使用されている画像セグメンテーション モデルで、自律航法や医用画像処理などの領域（Colab で実験可能）に使用できます

https://cloud.google.com/blog/ja/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer