Explingo: Explaining AI Predictions using Large Language Models

要約

SHAP などの Explainable AI (XAI) 技術によって生成された機械学習 (ML) モデル予測の説明は、意思決定に ML 出力を使用する人々にとって不可欠です。
私たちは、これらの説明を人間が読める、自然なコミュニケーションと一致する物語形式に変換する大規模言語モデル (LLM) の可能性を探ります。
私たちは 2 つの重要な研究課題に取り組みます: (1) LLM は従来の説明を高品質の物語に確実に変換できますか?
(2) 物語的な説明の質を効果的に評価するにはどうすればよいでしょうか?
これらの質問に答えるために、ナレーターとグレーダーという 2 つの LLM ベースのサブシステムで構成される Explingo を紹介します。
ナレーターは ML の説明を取り込み、自然言語の説明に変換します。
採点者は、正確さ、完全性、流暢さ、簡潔さなどの一連の指標に基づいてこれらのナラティブを採点します。
私たちの実験では、LLM が、特に人間によってラベル付けされブートストラップされた少数の例に基づいた場合に、すべての指標にわたって高スコアを達成する高品質のナラティブを生成できることが実証されました。
また、特に複雑な領域でのナラティブの効果的なスコアリングに関して、依然として課題が残っている領域も特定しました。
この研究で得られた発見は、物語による説明をさらなる応用に利用できるようにするオープンソース ツールに統合されました。

要約(オリジナル)

Explanations of machine learning (ML) model predictions generated by Explainable AI (XAI) techniques such as SHAP are essential for people using ML outputs for decision-making. We explore the potential of Large Language Models (LLMs) to transform these explanations into human-readable, narrative formats that align with natural communication. We address two key research questions: (1) Can LLMs reliably transform traditional explanations into high-quality narratives? and (2) How can we effectively evaluate the quality of narrative explanations? To answer these questions, we introduce Explingo, which consists of two LLM-based subsystems, a Narrator and Grader. The Narrator takes in ML explanations and transforms them into natural-language descriptions. The Grader scores these narratives on a set of metrics including accuracy, completeness, fluency, and conciseness. Our experiments demonstrate that LLMs can generate high-quality narratives that achieve high scores across all metrics, particularly when guided by a small number of human-labeled and bootstrapped examples. We also identified areas that remain challenging, in particular for effectively scoring narratives in complex domains. The findings from this work have been integrated into an open-source tool that makes narrative explanations available for further applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google