Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval

要約

最近の検索された高等世代（RAG）システムの進歩にもかかわらず、ほとんどの検索方法論は、クエリと肯定的なドキュメントが意味的に類似していると仮定する事実検索のために開発されることがよくあります。
この論文では、代わりに、QueryとDocumentが類似していないが、チェーン、論理関係、または経験的な経験を推論することで推測できるHidden Rationale取得と呼ばれる、より挑戦的なタイプの検索タスクを提案し、研究します。
このような問題に対処するために、クロスエンコーダーアーキテクチャを備えた命令調整された大手言語モデル（LLM）が合理的な選択になる可能性があります。
先駆的なLLMベースのレトリバーをさらに強化するために、LLMにバイナリ選択の質問に答えるように促すことにより、検索タスクを生成タスクに変換する特別な指示を設計します。
このモデルは、直接優先最適化（DPO）で微調整できます。
このフレームワークは、パフォーマンスの低下なしで計算効率のために最適化されています。
Rahoreによるこの検索フレームワークに名前を付け、以前の検索作業と比較して、感情的なサポート会話（ESC）のゼロショットと微調整されたパフォーマンスの優位性を確認します。
私たちの研究は、LLMをより広範な検索タスクの基盤として採用する可能性を示唆しています。
コード、モデル、およびデータセットは、https：//github.com/flyfree5/lahoreで入手できます。

要約(オリジナル)

Despite the recent advancement in Retrieval-Augmented Generation (RAG) systems, most retrieval methodologies are often developed for factual retrieval, which assumes query and positive documents are semantically similar. In this paper, we instead propose and study a more challenging type of retrieval task, called hidden rationale retrieval, in which query and document are not similar but can be inferred by reasoning chains, logic relationships, or empirical experiences. To address such problems, an instruction-tuned Large language model (LLM) with a cross-encoder architecture could be a reasonable choice. To further strengthen pioneering LLM-based retrievers, we design a special instruction that transforms the retrieval task into a generative task by prompting LLM to answer a binary-choice question. The model can be fine-tuned with direct preference optimization (DPO). The framework is also optimized for computational efficiency with no performance degradation. We name this retrieval framework by RaHoRe and verify its zero-shot and fine-tuned performance superiority on Emotional Support Conversation (ESC), compared with previous retrieval works. Our study suggests the potential to employ LLM as a foundation for a wider scope of retrieval tasks. Our codes, models, and datasets are available on https://github.com/flyfree5/LaHoRe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google