AMLB: an AutoML Benchmark

要約

さまざまな AutoML フレームワークを比較することは難しいことで知られており、間違った方法で行われることがよくあります。
ベスト プラクティスに従い、AutoML フレームワークを比較する際のよくある間違いを回避する、オープンで拡張可能なベンチマークを紹介します。
私たちは、71 の分類タスクと 33 の回帰タスクにわたって、9 つのよく知られた AutoML フレームワークを徹底的に比較しています。
AutoML フレームワーク間の違いは、モデルの精度、推論時間とのトレードオフ、フレームワークの障害を評価する多面的な分析によって調査されます。
また、Bradley-Terry ツリーを使用して、相対的な AutoML フレームワークのランキングが異なるタスクのサブセットを検出します。
このベンチマークには、多くの AutoML フレームワークと統合され、フレームワークのインストールおよびリソース割り当てから詳細な評価に至るまで、実証的評価プロセスをエンドツーエンドで自動化するオープンソース ツールが付属しています。
このベンチマークは公開データ セットを使用しており、他の AutoML フレームワークやタスクで簡単に拡張でき、最新の結果が掲載された Web サイトがあります。

要約(オリジナル)

Comparing different AutoML frameworks is notoriously challenging and often done incorrectly. We introduce an open and extensible benchmark that follows best practices and avoids common mistakes when comparing AutoML frameworks. We conduct a thorough comparison of 9 well-known AutoML frameworks across 71 classification and 33 regression tasks. The differences between the AutoML frameworks are explored with a multi-faceted analysis, evaluating model accuracy, its trade-offs with inference time, and framework failures. We also use Bradley-Terry trees to discover subsets of tasks where the relative AutoML framework rankings differ. The benchmark comes with an open-source tool that integrates with many AutoML frameworks and automates the empirical evaluation process end-to-end: from framework installation and resource allocation to in-depth evaluation. The benchmark uses public data sets, can be easily extended with other AutoML frameworks and tasks, and has a website with up-to-date results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google