Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts

要約

オープンドメインの質問応答のような知識集約型のタスクで大規模言語モデル（LLM）を使用する場合、外部コンテキストは外部知識とLLMのパラメトリック知識とのギャップを埋めることができる。最近の研究では、対照的デコーディングアプローチにより、LLMのパラメトリック知識よりも文脈知識を増幅することが開発されている。これらのアプローチは、適切な文脈が提供された場合には、真実の応答を得ることができるが、ノイズの多い文脈に直面した場合には脆弱になりやすい。我々は先行研究の範囲を拡大し、ノイズの多い文脈を包含し、文脈の影響を効果的に活用する適応的対照復号（ACD）を提案する。ACDは、ベースラインと比較して、オープンドメインの質問応答タスクにおいて改善を示し、特に、検索補強された生成においてノイズの多い文脈に惑わされないことによる頑健性を示す。

要約(オリジナル)

When using large language models (LLMs) in knowledge-intensive tasks, such as open-domain question answering, external context can bridge a gap between external knowledge and LLM’s parametric knowledge. Recent research has been developed to amplify contextual knowledge over the parametric knowledge of LLM with contrastive decoding approaches. While these approaches could yield truthful responses when relevant context is provided, they are prone to vulnerabilities when faced with noisy contexts. We extend the scope of previous studies to encompass noisy contexts and propose adaptive contrastive decoding (ACD) to leverage contextual influence effectively. ACD demonstrates improvements in open-domain question answering tasks compared to baselines, especially in robustness by remaining undistracted by noisy contexts in retrieval-augmented generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL