TalkToModel: Explaining Machine Learning Models with Interactive Natural Language Conversations

要約

機械学習（ML）モデルは、実世界のアプリケーションで重要な意思決定を行うためにますます使用されるようになってきていますが、その複雑さが増しているため、理解が難しくなってきています。このため、研究者はモデルの予測値を説明するための手法をいくつか提案しています。しかし、実務家は、これらの説明可能なテクニックを使用するのに苦労している。なぜなら、どれを選べばいいのか、説明の結果をどう解釈すればいいのかが分からないことが多いからである。本研究では、TalkToModel（会話を通じて機械学習モデルを説明するための対話システム）を導入することで、これらの課題に対処します。具体的には、TalkToModelは以下の3つの主要コンポーネントから構成されています。1）会話に参加するための自然言語インターフェース、2）あらゆる表モデルやデータセットに適応し、自然言語を解釈し、適切な説明にマッピングし、テキスト応答を生成する対話エンジン、3）説明を構築する実行コンポーネント。我々はTalkToModelの広範な定量評価と被験者評価を実施した。全体として、会話システムは新しいデータセットやモデルに対するユーザーの入力を高い精度で理解し、システムが新しい状況に汎化する能力を持つことを実証しました。人間を対象とした実世界での評価では、73%の医療従事者（医師や看護師など）が、病気予測タスクにおける説明のしやすさについて、ベースラインのポイント＆クリックシステムよりもTalkToModelを使用することに同意し、85%のML専門家が、説明の計算においてTalkToModelが使いやすかったことに同意しました。我々の発見は、TalkToModelが既存のシステムよりもモデルの説明可能性に効果的であることを示し、実務家のための説明可能性ツールの新しいカテゴリーを導入するものです。コードとデモはこちらで公開されています：https://github.com/dylan-slack/TalkToModel.

要約(オリジナル)

Machine Learning (ML) models are increasingly used to make critical decisions in real-world applications, yet they have become more complex, making them harder to understand. To this end, researchers have proposed several techniques to explain model predictions. However, practitioners struggle to use these explainability techniques because they often do not know which one to choose and how to interpret the results of the explanations. In this work, we address these challenges by introducing TalkToModel: an interactive dialogue system for explaining machine learning models through conversations. Specifically, TalkToModel comprises of three key components: 1) a natural language interface for engaging in conversations, making ML model explainability highly accessible, 2) a dialogue engine that adapts to any tabular model and dataset, interprets natural language, maps it to appropriate explanations, and generates text responses, and 3) an execution component that constructs the explanations. We carried out extensive quantitative and human subject evaluations of TalkToModel. Overall, we found the conversational system understands user inputs on novel datasets and models with high accuracy, demonstrating the system’s capacity to generalize to new situations. In real-world evaluations with humans, 73% of healthcare workers (e.g., doctors and nurses) agreed they would use TalkToModel over baseline point-and-click systems for explainability in a disease prediction task, and 85% of ML professionals agreed TalkToModel was easier to use for computing explanations. Our findings demonstrate that TalkToModel is more effective for model explainability than existing systems, introducing a new category of explainability tools for practitioners. Code & demo released here: https://github.com/dylan-slack/TalkToModel.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL