NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering

要約

表形式とテキスト形式のハイブリッド質問応答 (QA) では、異種情報からの推論が必要であり、推論の種類は主に数値推論とスパン抽出に分類されます。
現在の数値推論方法は自己回帰的にプログラム シーケンスをデコードし、各デコード ステップで演算子またはオペランドが生成されます。
ただし、ステップバイステップのデコードでは露出バイアスが発生し、デコードのステップが進むにつれてエラーの伝播によりプログラム生成の精度が急激に低下します。
この論文では、演算子とオペランドの両方を含む完全なプログラム タプルを独立して生成する非自己回帰プログラム生成フレームワークを提案します。このフレームワークは、プログラム生成の速度を大幅に向上させながら、エラー伝播の問題に対処できます。
ConvFinQA および MultiHiertt データセットの実験では、非自己回帰プログラム生成手法が、強力な FinQANet (+5.06 Exe Acc および +4.80 Prog Acc ポイント) および MT2Net (+7.97 EM および +6.38 F1 ポイント) ベースラインを超える大幅な改善をもたらすことができることを示しています。
、プログラム生成がはるかに高速 (21 倍) であると同時に、新しい最先端のパフォーマンスを確立します。
最後に、数値推論ステップの数が増加しても、私たちの方法のパフォーマンスの低下はベースラインのパフォーマンスの低下よりも大幅に小さくなります。
私たちのコードは間もなく公開される予定です。

要約(オリジナル)

Hybrid tabular-textual question answering (QA) requires reasoning from heterogeneous information, and the types of reasoning are mainly divided into numerical reasoning and span extraction. Current numerical reasoning methods autoregressively decode program sequences, and each decoding step produces either an operator or an operand. However, the step-by-step decoding suffers from exposure bias, and the accuracy of program generation drops sharply as the decoding steps unfold due to error propagation. In this paper, we propose a non-autoregressive program generation framework, which independently generates complete program tuples containing both operators and operands, can address the error propagation issue while significantly boosting the speed of program generation. Experiments on the ConvFinQA and MultiHiertt datasets show that our non-autoregressive program generation method can bring about substantial improvements over the strong FinQANet (+5.06 Exe Acc and +4.80 Prog Acc points) and MT2Net (+7.97 EM and +6.38 F1 points) baselines, establishing the new state-of-the-art performance, while being much faster (21x) in program generation. Finally, with increasing numbers of numerical reasoning steps the performance drop of our method is significantly smaller than that of the baselines. Our code will be publicly available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google