Investigating Co-Constructive Behavior of Large Language Models in Explanation Dialogues

要約

説明者によって理解される説明を生成する能力は、説明可能な人工知能の典型です。
理解は説明者の背景とニーズに依存しているため、最近の研究では、説明者が説明者の理解を継続的に監視し、説明を動的に適応させる共同建設的な説明対話に焦点を当てています。
大規模な言語モデル（LLM）が、共同建設的な説明対話の説明者として関与する能力を調査します。
特に、説明者がLLMと相互作用するユーザー研究を提示します。このユーザーは、事前に定義されたトピックを共同で説明するように指示されている人もいます。
対話の前後に説明者の理解と、LLMSの共同建設行動に対する認識を評価します。
我々の結果は、現在のLLMが、説明の質問をするなど、説明者の関与を促進し、トピックの理解を深めることができるような共構築行動を示していることを示しています。
ただし、現在の理解を効果的に監視し、それに応じて説明を足場にする能力は限られたままです。

要約(オリジナル)

The ability to generate explanations that are understood by explainees is the quintessence of explainable artificial intelligence. Since understanding depends on the explainee’s background and needs, recent research has focused on co-constructive explanation dialogues, where the explainer continuously monitors the explainee’s understanding and adapts explanations dynamically. We investigate the ability of large language models (LLMs) to engage as explainers in co-constructive explanation dialogues. In particular, we present a user study in which explainees interact with LLMs, of which some have been instructed to explain a predefined topic co-constructively. We evaluate the explainees’ understanding before and after the dialogue, as well as their perception of the LLMs’ co-constructive behavior. Our results indicate that current LLMs show some co-constructive behaviors, such as asking verification questions, that foster the explainees’ engagement and can improve understanding of a topic. However, their ability to effectively monitor the current understanding and scaffold the explanations accordingly remains limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google