Chain-of-Skills: A Configurable Model for Open-domain Question Answering

要約

検索モデルは、オープンドメイン質問応答 (ODQA) など、現実世界の知識集約型タスクに不可欠なコンポーネントです。
データセットごとに個別の取得スキルに注釈が付けられているため、最近の研究ではカスタマイズされた方法に重点が置かれており、モデルの転送可能性とスケーラビリティが制限されています。
この研究では、個々のモジュールがデータセット間で再利用できる主要なスキルに対応するモジュール式レトリーバーを提案します。
私たちのアプローチは、ターゲットドメインに基づいた柔軟なスキル構成をサポートし、パフォーマンスを向上させます。
タスクの干渉を軽減するために、スパース Transformer からインスピレーションを得た新しいモジュール化パラメータ化を設計します。
私たちのモデルは、Wikipedia での自己教師あり事前トレーニングと複数の ODQA データセットを使用した微調整のどちらもマルチタスク方式で恩恵を受けることができることを示します。
私たちのアプローチは、ゼロショット評価において最近の自己教師あり検索を上回り、NQ、HotpotQA、および OTT-QA で最先端の微調整された検索パフォーマンスを達成します。

要約(オリジナル)

The retrieval model is an indispensable component for real-world knowledge-intensive tasks, e.g., open-domain question answering (ODQA). As separate retrieval skills are annotated for different datasets, recent work focuses on customized methods, limiting the model transferability and scalability. In this work, we propose a modular retriever where individual modules correspond to key skills that can be reused across datasets. Our approach supports flexible skill configurations based on the target domain to boost performance. To mitigate task interference, we design a novel modularization parameterization inspired by sparse Transformer. We demonstrate that our model can benefit from self-supervised pretraining on Wikipedia and fine-tuning using multiple ODQA datasets, both in a multi-task fashion. Our approach outperforms recent self-supervised retrievers in zero-shot evaluations and achieves state-of-the-art fine-tuned retrieval performance on NQ, HotpotQA and OTT-QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google