Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering

要約

自然言語のあいまいさは、オープンドメインの質問応答に使用される大規模言語モデル (LLM) に重大な課題をもたらします。
LLM は人間のコミュニケーションに内在する不確実性と闘い、誤解、誤解、幻覚、偏った反応を引き起こすことがよくあります。
これにより、事実確認、質問応答、特徴抽出、センチメント分析などのタスクに使用する能力が大幅に低下します。
オープンドメインの質問応答をテスト ケースとして使用し、明示的な曖昧さ回避戦略の影響の測定に焦点を当てて、既製の LLM と少数ショットの LLM のパフォーマンスを比較します。
シンプルでトレーニング不要のトークンレベルの曖昧さ回避手法を効果的に使用して、曖昧な質問応答タスクの LLM パフォーマンスを向上させる方法を示します。
私たちは調査結果を実証的に示し、LLM のあいまいさに関するベスト プラクティスと広範な影響について議論します。

要約(オリジナル)

Ambiguity in natural language poses significant challenges to Large Language Models (LLMs) used for open-domain question answering. LLMs often struggle with the inherent uncertainties of human communication, leading to misinterpretations, miscommunications, hallucinations, and biased responses. This significantly weakens their ability to be used for tasks like fact-checking, question answering, feature extraction, and sentiment analysis. Using open-domain question answering as a test case, we compare off-the-shelf and few-shot LLM performance, focusing on measuring the impact of explicit disambiguation strategies. We demonstrate how simple, training-free, token-level disambiguation methods may be effectively used to improve LLM performance for ambiguous question answering tasks. We empirically show our findings and discuss best practices and broader impacts regarding ambiguity in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google