PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance

要約

金融におけるハイブリッド コンテキストでの会話型質問応答 (CQA) を促進するために、PACIFIC という名前の新しいデータセットを提示します。
既存の CQA データセットと比較すると、PACIFIC は、(i) 積極性、(ii) 数値推論、および (iii) 表とテキストのハイブリッド コンテキストという 3 つの主要な機能を示します。
それに応じて、明確化の質問の生成と CQA を組み合わせたプロアクティブな会話型質問応答 (PCQA) を研究するために、新しいタスクが定義されます。
さらに、コード生成としての数値推論プロセスの再定式化を含む、PCQA の入力コンテンツと出力コンテンツのハイブリッド形式を Seq2Seq 問題に適応させるための新しい方法、つまり UniPCQA を提案します。
UniPCQA は、PCQA のすべてのサブタスクでマルチタスク学習を実行し、シンプルなアンサンブル戦略を組み込んで、上位 $k$ サンプリングされた Seq2Seq 出力を相互検証することにより、マルチタスク学習におけるエラー伝播の問題を軽減します。
広範なベースラインを使用して PACIFIC データセットをベンチマークし、PCQA の各サブタスクに関する包括的な評価を提供します。

要約(オリジナル)

To facilitate conversational question answering (CQA) over hybrid contexts in finance, we present a new dataset, named PACIFIC. Compared with existing CQA datasets, PACIFIC exhibits three key features: (i) proactivity, (ii) numerical reasoning, and (iii) hybrid context of tables and text. A new task is defined accordingly to study Proactive Conversational Question Answering (PCQA), which combines clarification question generation and CQA. In addition, we propose a novel method, namely UniPCQA, to adapt a hybrid format of input and output content in PCQA into the Seq2Seq problem, including the reformulation of the numerical reasoning process as code generation. UniPCQA performs multi-task learning over all sub-tasks in PCQA and incorporates a simple ensemble strategy to alleviate the error propagation issue in the multi-task learning by cross-validating top-$k$ sampled Seq2Seq outputs. We benchmark the PACIFIC dataset with extensive baselines and provide comprehensive evaluations on each sub-task of PCQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google