INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理タスクにおいて優れた機能を実証しています。
それにもかかわらず、自然言語では多くの IR 固有の概念があまり出現しないため、情報検索 (IR) タスクへの応用は依然として困難です。
プロンプトベースの方法は LLM にタスクの説明を提供できますが、IR タスクの包括的な理解と実行を促進するには不十分なことが多く、そのため LLM の適用可能性が制限されます。
このギャップに対処するために、この研究では、IR タスクにおける LLM の習熟度を高めるための命令チューニングの可能性を探ります。
クエリの理解、ドキュメントの理解、クエリとドキュメントの関係の理解という 3 つの基本的な IR カテゴリにわたる 21 のタスクを含む、新しい命令チューニング データセット INTERS を紹介します。
データは、手動で作成されたテンプレートを使用して 43 の異なるデータセットから抽出されます。
私たちの実証結果では、INTERS が検索関連タスクにおいて、LLaMA、Mistral、Phi などのさまざまな公開 LLM のパフォーマンスを大幅に向上させることが明らかになりました。
さらに、ベースモデルの選択、命令設計、命令量、タスクの多様性がパフォーマンスに与える影響を確認するための包括的な分析を実行します。
データセットとそれに基づいて微調整されたモデルは、https://github.com/DaoD/INTERS で公開されています。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive capabilities in various natural language processing tasks. Despite this, their application to information retrieval (IR) tasks is still challenging due to the infrequent occurrence of many IR-specific concepts in natural language. While prompt-based methods can provide task descriptions to LLMs, they often fall short in facilitating comprehensive understanding and execution of IR tasks, thereby limiting LLMs’ applicability. To address this gap, in this work, we explore the potential of instruction tuning to enhance LLMs’ proficiency in IR tasks. We introduce a novel instruction tuning dataset, INTERS, encompassing 21 tasks across three fundamental IR categories: query understanding, document understanding, and query-document relationship understanding. The data are derived from 43 distinct datasets with manually written templates. Our empirical results reveal that INTERS significantly boosts the performance of various publicly available LLMs, such as LLaMA, Mistral, and Phi, in search-related tasks. Furthermore, we conduct a comprehensive analysis to ascertain the effects of base model selection, instruction design, volume of instructions, and task variety on performance. We make our dataset and the models fine-tuned on it publicly accessible at https://github.com/DaoD/INTERS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google