On Monotonic Aggregation for Open-domain QA

要約

質問応答 (QA) は、知識ソースから音声ベースで検索するための重要なタスクであり、裏付けとなる文書を読むことなく回答のみを選別します。
具体的には、オープンドメイン QA は、無制限の知識ソースに関するユーザーの質問に答えることを目的としています。
理想的には、ソースを追加しても精度が低下しないはずですが、この特性 (「単調性」と呼ばれる) は現在の最先端の方法には当てはまらないことがわかりました。
原因を特定し、それに基づいてジャッジ・スペシャリストの枠組みを提案します。
私たちのフレームワークは、(1) 個々のソースをカバーする専門の検索者/リーダー、および (2) 最終的な答えを選択するための専用の言語モデルであるジャッジで構成されます。
私たちの実験では、私たちのフレームワークが単調性を保証するだけでなく、自然な質問に関して最先端のマルチソース QA 手法よりも優れていることがわかりました。
さらに、私たちのモデルは音声認識からのノイズに対して単調性を確実に保存することを示します。
コードと設定を公開します。

要約(オリジナル)

Question answering (QA) is a critical task for speech-based retrieval from knowledge sources, by sifting only the answers without requiring to read supporting documents. Specifically, open-domain QA aims to answer user questions on unrestricted knowledge sources. Ideally, adding a source should not decrease the accuracy, but we find this property (denoted as ‘monotonicity’) does not hold for current state-of-the-art methods. We identify the cause, and based on that we propose Judge-Specialist framework. Our framework consists of (1) specialist retrievers/readers to cover individual sources, and (2) judge, a dedicated language model to select the final answer. Our experiments show that our framework not only ensures monotonicity, but also outperforms state-of-the-art multi-source QA methods on Natural Questions. Additionally, we show that our models robustly preserve the monotonicity against noise from speech recognition. We publicly release our code and setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google