Chain-of-Questions Training with Latent Answers for Robust Multistep Question Answering

要約

サブ質問を生成して回答することで、複数ステップの質問に確実に回答できるように言語モデル (LM) をトレーニングします。
私たちは、人による注釈付きの質問分解意味表現 (QDMR) を活用して、サブ質問とサブ回答を一度に 1 つずつ生成するモデルをトレーニングするフレームワークである Chain-of-Questions を提案します。
主要な技術的課題は、QDMR にはサブ質問のみが含まれ、それらのサブ質問に対する回答が含まれていないことです。そのため、サブ回答を潜在変数として扱い、Hard-EM と MAPO の新しい動的混合を使用してサブ回答を最適化します。
Chain-of-Questions は、DROP コントラスト セットでは 9.0 F1 で強力な神経記号手法を大幅に上回り、HOTPOTQA 敵対セットでは 24.3 F1 で GPT-3.5 を上回り、フレームワークの有効性と堅牢性を示しています。

要約(オリジナル)

We train a language model (LM) to robustly answer multistep questions by generating and answering sub-questions. We propose Chain-of-Questions, a framework that trains a model to generate sub-questions and sub-answers one at a time by leveraging human annotated question decomposition meaning representation (QDMR). The key technical challenge is that QDMR only contains sub-questions but not answers to those sub-questions, so we treat sub-answers as latent variables and optimize them using a novel dynamic mixture of Hard-EM and MAPO. Chain-of-Questions greatly outperforms strong neuro-symbolic methods by 9.0 F1 on DROP contrast set, and outperforms GPT-3.5 by 24.3 F1 on HOTPOTQA adversarial set, thus demonstrating the effectiveness and robustness of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google