AutoML in The Wild: Obstacles, Workarounds, and Expectations

要約

自動機械学習 (AutoML) は、一般ユーザーが ML 手法にアクセスできるようにすることを想定しています。
最近の研究では、標準的な ML ワークフロー全体で AutoML 機能を強化する際の人間の役割が調査されました。
ただし、ユーザーが既存の AutoML ソリューションを複雑な実世界の設定でどのように採用しているかを全体的な観点から理解することも重要です。
このギャップを埋めるために、この調査では AutoML ユーザー (N = 19) の半構造化インタビューを実施し、(1) ユーザーが実際の業務で遭遇する AutoML の限界、(2) ユーザーが対処するために採用する戦略の理解に焦点を当てました。
そのような制限、および (3) 制限と回避策が AutoML の使用にどのように影響するか。
私たちの調査結果は、ユーザーが積極的にユーザーエージェンシーを行使して、カスタマイズ可能性、透明性、およびプライバシーから生じる 3 つの主要な課題を克服していることを明らかにしています。
さらに、ユーザーは、AutoML を適用するかどうか、および適用する方法について、ケースバイケースで慎重に決定します。
最後に、将来の AutoML ソリューションを開発するための設計上の意味を導き出します。

要約(オリジナル)

Automated machine learning (AutoML) is envisioned to make ML techniques accessible to ordinary users. Recent work has investigated the role of humans in enhancing AutoML functionality throughout a standard ML workflow. However, it is also critical to understand how users adopt existing AutoML solutions in complex, real-world settings from a holistic perspective. To fill this gap, this study conducted semi-structured interviews of AutoML users (N = 19) focusing on understanding (1) the limitations of AutoML encountered by users in their real-world practices, (2) the strategies users adopt to cope with such limitations, and (3) how the limitations and workarounds impact their use of AutoML. Our findings reveal that users actively exercise user agency to overcome three major challenges arising from customizability, transparency, and privacy. Furthermore, users make cautious decisions about whether and how to apply AutoML on a case-by-case basis. Finally, we derive design implications for developing future AutoML solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google