CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems

要約

大規模言語モデル (LLM) に基づく会話型説明可能人工知能 (ConvXAI) システムは、自然言語処理 (NLP) およびヒューマン コンピューター インタラクション (HCI) の研究コミュニティから大きな関心を集めています。
このようなシステムは、対話内の説明に関するユーザーの質問に回答を提供し、ユーザーの理解を高め、LLM の意思決定および生成プロセスに関するより多くの情報を提供する可能性があります。
現在利用可能な ConvXAI システムは、フリー チャットではなく意図認識に基づいています。これは、ユーザーの意図を識別する際に、この方がより正確で信頼性が高いことがわかっているためです。
ただし、ConvXAI の場合、トレーニング データがほとんど存在せず、リクエストをマッピングする XAI メソッドが広範囲に存在するため、ドメインが非常に特殊であるため、インテントの認識には依然として課題があります。
このギャップを埋めるために、ConvXAI でのユーザー意図認識のための最初のデータセットである CoXQL を紹介します。これは 31 の意図をカバーしており、そのうちの 7 つは複数のスロットを埋める必要があります。
その後、テンプレート検証を組み込むことで既存の解析アプローチを強化し、さまざまな解析戦略を使用して CoXQL 上のいくつかの LLM の評価を実行します。
改良された解析アプローチ (MP+) は以前のアプローチのパフォーマンスを上回っていると結論付けています。
また、複数のスロットを持つインテントは、LLM にとって依然として非常に困難であることもわかりました。

要約(オリジナル)

Conversational explainable artificial intelligence (ConvXAI) systems based on large language models (LLMs) have garnered significant interest from the research community in natural language processing (NLP) and human-computer interaction (HCI). Such systems can provide answers to user questions about explanations in dialogues, have the potential to enhance users’ comprehension and offer more information about the decision-making and generation processes of LLMs. Currently available ConvXAI systems are based on intent recognition rather than free chat, as this has been found to be more precise and reliable in identifying users’ intentions. However, the recognition of intents still presents a challenge in the case of ConvXAI, since little training data exist and the domain is highly specific, as there is a broad range of XAI methods to map requests onto. In order to bridge this gap, we present CoXQL, the first dataset for user intent recognition in ConvXAI, covering 31 intents, seven of which require filling multiple slots. Subsequently, we enhance an existing parsing approach by incorporating template validations, and conduct an evaluation of several LLMs on CoXQL using different parsing strategies. We conclude that the improved parsing approach (MP+) surpasses the performance of previous approaches. We also discover that intents with multiple slots remain highly challenging for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google