Comprehensive Solution Program Centric Pretraining for Table-and-Text Hybrid Numerical Reasoning

要約

財務報告書のような表とテキストのハイブリッドな文章に対する数値推論は、重要な課題を提起し、多くの潜在的なアプリケーションを持っています。モデルの入力に含まれるノイズや無関係な変数が、その性能の妨げになっています。さらに、解答プログラム全体の粗い粒度の監視は、モデルが根本的な数値推論プロセスを学習する能力を阻害している。本論文では、プログラム全体とサブプログラムの両方のレベルで動作する3つのプリトレーニングタスクを提案する：変数整合性ランキングは、有用な変数に焦点を当てるようモデルを導く。変数オペレータ予測は、監督をきめ細かい単一オペレータ予測に分解する。実験結果は、トランスフォーマーベースのモデルのベースラインを上回る、提案手法の有効性を実証している。

要約(オリジナル)

Numerical reasoning over table-and-text hybrid passages, such as financial reports, poses significant challenges and has numerous potential applications. Noise and irrelevant variables in the model input have been a hindrance to its performance. Additionally, coarse-grained supervision of the whole solution program has impeded the model’s ability to learn the underlying numerical reasoning process. In this paper, we propose three pretraining tasks that operate at both the whole program and sub-program level: Variable Integrity Ranking, which guides the model to focus on useful variables; Variable Operator Prediction, which decomposes the supervision into fine-grained single operator prediction; and Variable Keyphrase Masking, which encourages the model to identify key evidence that sub-programs are derived from. Experimental results demonstrate the effectiveness of our proposed methods, surpassing transformer-based model baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL