XAutoML: A Visual Analytics Tool for Understanding and Validating Automated Machine Learning

要約

過去 10 年間、人間の介入を最小限に抑えてエンドツーエンドの機械学習 (ML) パイプラインを構築するために、さまざまな自動機械学習 (AutoM) システムが提案されてきました。
このように自動的に合成された ML パイプラインは競争力のあるパフォーマンスを達成できますが、最近の研究では、AutoML システムの透明性の欠如と、構築された ML パイプラインの説明の不足により、ユーザーが AutoML によって構築されたモデルを信頼していないことが示されています。
ML に関してまったく異なる専門知識を持つさまざまな専門分野の 36 人のドメイン専門家、データ サイエンティスト、AutoML 研究者による要件分析調査で、AutoML に関する詳細な情報ニーズを収集しました。
我々は、任意の AutoML 最適化手順と AutoML によって構築された ML パイプラインを説明するための対話型ビジュアル分析ツールである XAutoML を提案します。
XAutoML は、インタラクティブな視覚化と説明可能な人工知能 (XAI) の確立された技術を組み合わせて、完全な AutoML 手順を透過的かつ説明可能にします。
XAutoML を JupyterLab と統合することで、経験豊富なユーザーは、XAutoML から抽出された情報に基づいたアドホックな視覚化でビジュアル分析を拡張できます。
私たちは、要件分析から得た同じ多様なユーザー グループを対象としたユーザー調査でアプローチを検証します。
参加者全員が XAutoML から有益な情報を抽出することができ、AutoML によって生成される ML パイプラインと AutoML 最適化自体についての理解が大幅に深まりました。

要約(オリジナル)

In the last ten years, various automated machine learning (AutoM ) systems have been proposed to build end-to-end machine learning (ML) pipelines with minimal human interaction. Even though such automatically synthesized ML pipelines are able to achieve a competitive performance, recent studies have shown that users do not trust models constructed by AutoML due to missing transparency of AutoML systems and missing explanations for the constructed ML pipelines. In a requirements analysis study with 36 domain experts, data scientists, and AutoML researchers from different professions with vastly different expertise in ML, we collect detailed informational needs for AutoML. We propose XAutoML, an interactive visual analytics tool for explaining arbitrary AutoML optimization procedures and ML pipelines constructed by AutoML. XAutoML combines interactive visualizations with established techniques from explainable artificial intelligence (XAI) to make the complete AutoML procedure transparent and explainable. By integrating XAutoML with JupyterLab, experienced users can extend the visual analytics with ad-hoc visualizations based on information extracted from XAutoML. We validate our approach in a user study with the same diverse user group from the requirements analysis. All participants were able to extract useful information from XAutoML, leading to a significantly increased understanding of ML pipelines produced by AutoML and the AutoML optimization itself.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google