Enhancing Answer Attribution for Faithful Text Generation with Large Language Models

要約

近年の大規模言語モデル (LLM) の人気の高まりにより、ユーザーが AI ベースの会話システムと対話し、質問を投げかける方法が変化しました。
生成された LLM 回答の信頼性を高めるために不可欠な側面は、回答から個々の主張を、それを裏付ける関連情報源まで追跡できる機能です。このプロセスは、回答の帰属として知られています。
最近の研究では、LLM における回答帰属のタスクの調査が開始されていますが、いくつかの課題がまだ残っています。
この作業では、まず、回答のセグメント化と証拠の検索のサブタスクに焦点を当てて、既存の回答帰属手法の有効性を分析するケーススタディを実行します。
観察された欠点に基づいて、より優れた検索と帰属を実現するために、より独立した文脈に応じたクレームを作成するための新しい方法を提案します。
新しい方法が評価され、回答帰属コンポーネントのパフォーマンスが向上することが示されています。
最後に、このタスクの今後の方向性についての議論と概要を説明します。

要約(オリジナル)

The increasing popularity of Large Language Models (LLMs) in recent years has changed the way users interact with and pose questions to AI-based conversational systems. An essential aspect for increasing the trustworthiness of generated LLM answers is the ability to trace the individual claims from responses back to relevant sources that support them, the process known as answer attribution. While recent work has started exploring the task of answer attribution in LLMs, some challenges still remain. In this work, we first perform a case study analyzing the effectiveness of existing answer attribution methods, with a focus on subtasks of answer segmentation and evidence retrieval. Based on the observed shortcomings, we propose new methods for producing more independent and contextualized claims for better retrieval and attribution. The new methods are evaluated and shown to improve the performance of answer attribution components. We end with a discussion and outline of future directions for the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google