Mystique: Enabling Accurate and Scalable Generation of Production AI Benchmarks

要約

タイトル：Mystique：正確でスケーラブルなプロダクションAIベンチマークの生成を可能にする

要約：
– 現代のクラウドプロバイダーにとって、急速に成長するDLワークロードをサポートするための大規模なAIフリートの構築は、活発な研究トピックである。
– 正確なベンチマークの生成は、この領域で迅速なソフトウェアとハードウェアのソリューションを設計する上で重要な役割を果たす。
– この問題に対処するために、正確でスケーラブルなフレームワークであるMystiqueを提案する。
– Mystiqueは、PyTorch実行トレース（ET）を活用し、オペレータの粒度でAIモデルのランタイム情報をグラフ形式で記録することで、フリートETを収集してポータブルで代表的なAIベンチマークを構築することができる。
– Mystiqueは、ランタイムオーバーヘッドや計器の努力の観点から軽量でスケーラブルであり、ETの組み合わせ可能性により柔軟なベンチマーク作成を可能にする。
– 我々は、いくつかの実際のAIモデルで我々の方法を評価し、Mystiqueで生成されたベンチマークが実際のAIモデルと非常に似ていることを示した。また、生成されたベンチマークのポータビリティと実行トレースの細かい組み合わせによって可能になるいくつかのユースケースもデモンストレーションした。

要約(オリジナル)

Building large AI fleets to support the rapidly growing DL workloads is an active research topic for modern cloud providers. Generating accurate benchmarks plays an essential role in designing the fast-paced software and hardware solutions in this space. Two fundamental challenges to make this scalable are (i) workload representativeness and (ii) the ability to quickly incorporate changes to the fleet into the benchmarks. To overcome these issues, we propose Mystique, an accurate and scalable framework for production AI benchmark generation. It leverages the PyTorch execution trace (ET), a new feature that captures the runtime information of AI models at the granularity of operators, in a graph format, together with their metadata. By sourcing fleet ETs, we can build AI benchmarks that are portable and representative. Mystique is scalable, due to its lightweight data collection, in terms of runtime overhead and instrumentation effort. It is also adaptive because ET composability allows flexible control on benchmark creation. We evaluate our methodology on several production AI models, and show that benchmarks generated with Mystique closely resemble original AI models, both in execution time and system-level metrics. We also showcase the portability of the generated benchmarks across platforms, and demonstrate several use cases enabled by the fine-grained composability of the execution trace.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI