GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval

要約

分解ベースのマルチホップ検索方法は、多くの自己回帰の手順に依存して複雑なクエリを分解します。
分解フリーの方法はこれに取り組みますが、現在の分解のないアプローチは、より長いマルチホップの問題と分散除外データへの一般化と闘っています。
これらの課題に対処するために、分散および分散型ベンチマークの両方で最先端のパフォーマンスを達成する新しいマルチホップ密度の高い検索モデルであるGrithopper-7Bを紹介します。
Grithopperは、因果言語モデリングを密な検索トレーニングと統合することにより、生成的および表現指示の調整を組み合わせます。
対照研究を通じて、検索後の言語モデリングと呼ばれる検索プロセスの後に追加のコンテキストを組み込むと、密な検索パフォーマンスが向上することがわかります。
トレーニング中に最終回答などの要素を含めることにより、モデルは関連する情報をよりコンテキスト化および取得することを学びます。
Grithopper-7Bは、マルチホップの密な検索のための堅牢でスケーラブルで一般化可能なソリューションを提供し、マルチホップの推論と検索機能を必要とする将来の研究とアプリケーションのためにコミュニティにリリースします。

要約(オリジナル)

Decomposition-based multi-hop retrieval methods rely on many autoregressive steps to break down complex queries, which breaks end-to-end differentiability and is computationally expensive. Decomposition-free methods tackle this, but current decomposition-free approaches struggle with longer multi-hop problems and generalization to out-of-distribution data. To address these challenges, we introduce GRITHopper-7B, a novel multi-hop dense retrieval model that achieves state-of-the-art performance on both in-distribution and out-of-distribution benchmarks. GRITHopper combines generative and representational instruction tuning by integrating causal language modeling with dense retrieval training. Through controlled studies, we find that incorporating additional context after the retrieval process, referred to as post-retrieval language modeling, enhances dense retrieval performance. By including elements such as final answers during training, the model learns to better contextualize and retrieve relevant information. GRITHopper-7B offers a robust, scalable, and generalizable solution for multi-hop dense retrieval, and we release it to the community for future research and applications requiring multi-hop reasoning and retrieval capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google