サブロウ丸

サブロウ丸

主にプログラミングと数学

ML Commons

ML Commonsとは、機械学習アプリケーションのベンチマークであるMLPerfの管理を行う団体のこと。

website: github:

2022/06/14時点でのベンチマーク項目は下記。

  • Training
  • Training: HPC
  • Inference: Datacenter
  • Inference: Edge
  • Inference: Mobile
  • Inference: Tiny

また提供されているデータセット

  • Multilingual Spoken Words People’s Speech

関連記事一覧

ML Perf

そこで機械学習ディープラーニング)の世界においても容易に性能比較が出来るように、DellEMC、GoogleIntelなどのIT企業 と UC Berkeley(カリフォルニア大学バークレー校)や 米スタンフォード大学などの大学・研究機関などが連携して策定した機械学習ベンチマーク 「MLPerf」 が策定されてきました。 https://japancatalog.dell.com/c/isg_dl_mlperf/

-

MLPerfは、2018年5月に、機械学習アプリケーションを実行するシステムの性能リストを作成することを目的に設立された機械学習ベンチマークCommunityです。これまで膨大な時間を要していた規模の機械学習計算をスーパーコンピュータを使って行った時の性能評価を行うため、MLPerfは新たな機械学習ベンチマークとしてMLPerf HPCを策定しました。世界各国のスーパーコンピュータで利用され、新たな業界標準として期待されています。 https://pr.fujitsu.com/jp/news/2020/11/19-1.html

githubによると、

  • 16個のCPU、1個のNvidiaP100
  • Ubuntu 16.04
  • 600GBのディスク

詳細はarxivに記載されている。 https://arxiv.org/abs/1910.01500

ベンチマークClosedOpenの2種類がある。 Closedはファレンス実装と同じ前処理、モデル、訓練方法である決められた精度にモデルを訓練するまでの時間を測る。Openはトレーニングデータから前処理、モデル、訓練方法を好きなものを使用できる。 ので、Closedはハードウェア側の、Openはソフトウェア側の性能評価と言って良さそう。

ベンチマークに参加したい場合はまずはコミュニティに参加、とのこと。

MLPerf HPC

MLPerf HPCは機械学習を活用する実アプリケーションを題材に、機械学習処理で必要となるソフトウェアを含めたシステム全体としての処理性能を評価します。HPL-AIは、機械学習処理で活用される単精度や半精度演算器などのハードウェアそのものの基礎性能が評価されます。 今回のMLPerf HPCはv0.7として、スーパーコンピュータを利用しなければならない大規模の機械学習性能を測定することを目的として、「CosmoFlow」と「DeepCAM」の2つの実アプリケーションで性能評価が実施されました。 https://pr.fujitsu.com/jp/news/2020/11/19-1.html

-

これまで膨大な時間を要していた規模の機械学習計算をスーパーコンピュータを使って行った時の性能評価を行うため、MLPerfは新たな機械学習ベンチマークとしてMLPerf HPCを策定した。MLPerf HPCでは、宇宙論的パラメータを予測する「CosmoFlow」と異常気象現象を特定する「DeepCAM」という2本のベンチマークプログラムのそれぞれにおいて性能を競う。 https://iotnews.jp/archives/160780

MLPerf モデルの概要

MLPerf モデルは、産業界と大学、研究施設で共通して使用される、最先端の機械学習ワークロードを表すモデルとして選ばれました。ここでは、上の図の各 MLPerf モデルの詳細について説明します。

  • DLRM は、メディアから、旅行、e コマースに至るまでのオンライン ビジネスの中核をなすランキングと推奨モデルを表します Transformer は、BERT などの自然言語処理における最近の進歩の基盤となります
  • BERT は Google 検索の「過去 5 年で最大の躍進」を可能にしました
  • ResNet-50 は、広く使用されている画像分類用のモデルです 0 SSD は、モバイル デバイス上で実行できる軽量なオブジェクト検出モデルです
  • Mask R-CNN は、広く使用されている画像セグメンテーション モデルで、自律航法や医用画像処理などの領域(Colab で実験可能)に使用できます

https://cloud.google.com/blog/ja/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer