CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity

要約

現在、QA タスクにおける最先端のパフォーマンスは、大規模言語モデル (LLM) を採用したシステムによって実現されていますが、これらのモデルは、応答に幻覚情報が含まれる傾向があります。
1 つのアプローチは、特定の入力から出力への帰属を組み込むことによって生成プロセスを強化することに焦点を当てています。
ただし、適切な帰属を特定し、その正確性を情報源と照合して検証するという課題は複雑な作業であり、そのようなシステムを評価する際に大幅な改善が必要です。
アトリビューションの精度を高めるために、アトリビューション指向の思考連鎖推論手法を導入します。
このアプローチでは、推論プロセスをアトリビューション中心の出力の生成に重点を置きます。
GPT-4 を使用した 2 つのコンテキスト強化質問応答データセットの評価では、アトリビューションの精度と正しさが向上していることが実証されました。
さらに、私たちの手法と微調整を組み合わせることで、2 つの小さな LLM の応答と属性の精度が向上し、場合によっては GPT-4 を上回る可能性があることが示されています。

要約(オリジナル)

State-of-the-art performance in QA tasks is currently achieved by systems employing Large Language Models (LLMs), however these models tend to hallucinate information in their responses. One approach focuses on enhancing the generation process by incorporating attribution from the given input to the output. However, the challenge of identifying appropriate attributions and verifying their accuracy against a source is a complex task that requires significant improvements in assessing such systems. We introduce an attribution-oriented Chain-of-Thought reasoning method to enhance the accuracy of attributions. This approach focuses the reasoning process on generating an attribution-centric output. Evaluations on two context-enhanced question-answering datasets using GPT-4 demonstrate improved accuracy and correctness of attributions. In addition, the combination of our method with finetuning enhances the response and attribution accuracy of two smaller LLMs, showing their potential to outperform GPT-4 in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google