QAEncoder: Towards Aligned Representation Learning in Question Answering System

要約

最新の QA システムには、正確で信頼できる応答を得るために検索拡張生成 (RAG) が必要です。
ただし、ユーザーのクエリと関連ドキュメントの間には固有のギャップがあるため、正確な一致が妨げられます。
潜在的なクエリとドキュメントが埋め込み空間で円錐状の構造を形成すると仮定する円錐分布仮説に基づいて、このギャップを埋めるためのトレーニング不要のアプローチである QAEncoder を導入します。
具体的には、QAEncoder は、文書埋め込みの堅牢な代理として埋め込み空間内の潜在的なクエリの期待値を推定し、これらの埋め込みを効果的に区別するために文書フィンガープリントを添付します。
6 つの言語と 8 つのデータセットにわたる 14 の埋め込みモデルに関する広範な実験により、既存の RAG アーキテクチャおよびトレーニング ベースのメソッドとシームレスに統合するプラグ アンド プレイ ソリューションを提供する QAEncoder のアライメント機能が検証されました。

要約(オリジナル)

Modern QA systems entail retrieval-augmented generation (RAG) for accurate and trustworthy responses. However, the inherent gap between user queries and relevant documents hinders precise matching. Motivated by our conical distribution hypothesis, which posits that potential queries and documents form a cone-like structure in the embedding space, we introduce QAEncoder, a training-free approach to bridge this gap. Specifically, QAEncoder estimates the expectation of potential queries in the embedding space as a robust surrogate for the document embedding, and attaches document fingerprints to effectively distinguish these embeddings. Extensive experiments on fourteen embedding models across six languages and eight datasets validate QAEncoder’s alignment capability, which offers a plug-and-play solution that seamlessly integrates with existing RAG architectures and training-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google