Investigating Task Arithmetic for Zero-Shot Information Retrieval

要約

大規模な言語モデル（LLM）は、ドキュメントの再ランクを含むさまざまな自然言語処理タスクで印象的なゼロショットパフォーマンスを示しています。
しかし、それらの有効性は、主に語彙と単語分布の変化によるもので、目に見えないタスクとドメインに悪化します。
このホワイトペーパーでは、タスク算術を調査します。これは、追加の微調整を必要とせずに検索モデルを適応させるために、追加や減算などの単純な数学操作を介して、さまざまなタスクまたはドメインで事前に訓練されたLLMの重みを組み合わせた手法です。
私たちの方法は、多様なタスクとドメインの知識を単一のモデルに合成し、さまざまな検索コンテキストで効果的なゼロショット適応を可能にすることができます。
科学的、生物医学的、多言語データセットに関する公開されている広範な実験では、この方法がNDCG@10で最大18％、P@10で15％を最大18％改善することが示されています。
これらの経験的利益に加えて、我々の分析は、ゼロショット学習とモデル適応のための実用的な戦略として、タスク算術の長所と制限に関する洞察を提供します。
コードをhttps://github.com/detectivemb/task-arithmetic-for-zs-irで公開しています。

要約(オリジナル)

Large Language Models (LLMs) have shown impressive zero-shot performance across a variety of Natural Language Processing tasks, including document re-ranking. However, their effectiveness degrades on unseen tasks and domains, largely due to shifts in vocabulary and word distributions. In this paper, we investigate Task Arithmetic, a technique that combines the weights of LLMs pre-trained on different tasks or domains via simple mathematical operations, such as addition or subtraction, to adapt retrieval models without requiring additional fine-tuning. Our method is able to synthesize diverse tasks and domain knowledge into a single model, enabling effective zero-shot adaptation in different retrieval contexts. Extensive experiments on publicly available scientific, biomedical, and multilingual datasets show that our method improves state-of-the-art re-ranking performance by up to 18% in NDCG@10 and 15% in P@10. In addition to these empirical gains, our analysis provides insights into the strengths and limitations of Task Arithmetic as a practical strategy for zero-shot learning and model adaptation. We make our code publicly available at https://github.com/DetectiveMB/Task-Arithmetic-for-ZS-IR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google