Enabling more efficient and cost-effective AI/ML systems with Collective Mind, virtualized MLOps, MLPerf, Collective Knowledge Playground and reproducible optimization tournaments

要約

このホワイト ペーパーでは、Collective Mind フレームワーク (CM)、仮想化 MLOps、MLPerf を利用して、AI、ML、その他の一般的なワークロード向けに、より安価で高速かつエネルギー効率の高いソフトウェアとハ​​ードウェアを自動的に共同設計するコミュニティの取り組みについて説明します。
ベンチマークと再現可能な最適化トーナメント。
私は、急速に進化するオープンソースおよび独自の AI/ML モデル、データセット、ソフトウェア、ハードウェアにわたる複雑なアプリケーションの構築、実行、プロファイリング、最適化という退屈なプロセスをモジュール化、自動化、仮想化するために CM を開発しました。
私は、150 を超える研究論文を再現し、初の大規模コミュニティ ベンチマークを組織する際に、学界と産業界との緊密な連携によって発見された MLOps および DevOps (CM4MLOps) のためのポータブルで再利用可能でテクノロジーに依存しない自動化レシピ (ResearchOps) の助けを借りてこれを達成しました。
CM と MLPerf を使用した ML および AI システムの構築。
私は CM と CM4MLOps を MLCommons に寄贈し、学界と産業界を結び付け、知識を統合しながら共通のテクノロジーに依存しない自動化、仮想化、再現性のフレームワークを使用して、AI やその他の新たなワークロードを最も効率的かつコスト効率の高い方法で構築して実行する方法を学習できるようにしました。
交換し、すべての人の知的財産を保護し、スキルの移植を可能にし、最先端の研究から生産への移行を加速します。
私の長期的なビジョンは、AI を、ユーザーの需要、要件、コスト、遅延、スループット、精度などの制約に基づいて、さまざまなベンダーの最適なオープンソースおよび独自のコンポーネントから自動的に生成される商品にすることで、誰もが AI にアクセスできるようにすることです。
エネルギー、サイズ、その他の重要な特性。

要約(オリジナル)

In this white paper, I present my community effort to automatically co-design cheaper, faster and more energy-efficient software and hardware for AI, ML and other popular workloads with the help of the Collective Mind framework (CM), virtualized MLOps, MLPerf benchmarks and reproducible optimization tournaments. I developed CM to modularize, automate and virtualize the tedious process of building, running, profiling and optimizing complex applications across rapidly evolving open-source and proprietary AI/ML models, datasets, software and hardware. I achieved that with the help of portable, reusable and technology-agnostic automation recipes (ResearchOps) for MLOps and DevOps (CM4MLOps) discovered in close collaboration with academia and industry when reproducing more than 150 research papers and organizing the 1st mass-scale community benchmarking of ML and AI systems using CM and MLPerf. I donated CM and CM4MLOps to MLCommons to help connect academia and industry to learn how to build and run AI and other emerging workloads in the most efficient and cost-effective way using a common and technology-agnostic automation, virtualization and reproducibility framework while unifying knowledge exchange, protecting everyone’s intellectual property, enabling portable skills, and accelerating transfer of the state-of-the-art research to production. My long-term vision is to make AI accessible to everyone by making it a commodity automatically produced from the most suitable open-source and proprietary components from different vendors based on user demand, requirements and constraints such as cost, latency, throughput, accuracy, energy, size and other important characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google