Chain-of-Skills: A Configurable Model for Open-domain Question Answering

要約

タイトル: オープンドメインの質問応答のための構成可能なモデル「Chain-of-Skills」
要約:
– 情報密度が高いタスク、例えばオープンドメインの質問応答（ODQA）のために、リトリーバーモデルは不可欠な要素だ。
– 異なるデータセットに対して個別にアノテーションされた異なるリトリーバースキルに焦点を当てた最近の研究により、カスタマイズされた方法が提案され、モデルの転移性と拡張性が制限されている。
– 本研究では、個々のモジュールが異なるデータセットで再利用できるキーのスキルに対応するモジュラーリトリーバーを提案する。対象ドメインに基づいた柔軟なスキル構成をサポートする。タスクの干渉を軽減するため、sparse Transformerに着想を得た革新的なモジュラリゼーションパラメータ化を設計する。
– Wikipediaでの自己教師ありの事前学習と、マルチタスクの両方で、複数のODQAデータセットを使用して、ファインチューニングを行い、モデルを改良できることを示す。本手法は、ゼロショット評価で最近の自己教師ありリトリーバーを上回り、NQ、HotpotQA、OTT-QAで最高のファインチューニングされたリトリーバー性能を実現する。

要約(オリジナル)

The retrieval model is an indispensable component for real-world knowledge-intensive tasks, e.g., open-domain question answering (ODQA). As separate retrieval skills are annotated for different datasets, recent work focuses on customized methods, limiting the model transferability and scalability. In this work, we propose a modular retriever where individual modules correspond to key skills that can be reused across datasets. Our approach supports flexible skill configurations based on the target domain to boost performance. To mitigate task interference, we design a novel modularization parameterization inspired by sparse Transformer. We demonstrate that our model can benefit from self-supervised pretraining on Wikipedia and fine-tuning using multiple ODQA datasets, both in a multi-task fashion. Our approach outperforms recent self-supervised retrievers in zero-shot evaluations and achieves state-of-the-art fine-tuned retrieval performance on NQ, HotpotQA and OTT-QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI