Rethinking Label Smoothing on Multi-hop Question Answering

要約

マルチホップ質問応答(MHQA)は、文書検索、支援文予測、解答スパン抽出を含む複数の推論コンポーネントを必要とする、質問応答における重要な分野である。本研究では、マルチホップ推論の性能を制限する主な要因を分析し、MHQAタスクにラベルスムージングを導入する。これは、MHQAシステムの汎化能力を強化し、訓練セットにおける回答スパンと推論パスのオーバーフィッティングを緩和することを目的としている。我々は、学習プロセスに不確実性を組み込み、機械読解（MRC）タスクに特化した、新しいラベルスムージング手法であるF1スムージングを提案する。カリキュラム学習の原理から着想を得て、学習過程を通して不確実性を漸減させる線形減衰ラベルスムージングアルゴリズム(LDLA)を導入する。HotpotQAデータセットでの実験により、マルチホップ推論における性能と汎化性の向上における我々の手法の有効性が実証され、リーダーボードにおいて新たな最先端結果を達成した。

要約(オリジナル)

Multi-Hop Question Answering (MHQA) is a significant area in question answering, requiring multiple reasoning components, including document retrieval, supporting sentence prediction, and answer span extraction. In this work, we analyze the primary factors limiting the performance of multi-hop reasoning and introduce label smoothing into the MHQA task. This is aimed at enhancing the generalization capabilities of MHQA systems and mitigating overfitting of answer spans and reasoning paths in training set. We propose a novel label smoothing technique, F1 Smoothing, which incorporates uncertainty into the learning process and is specifically tailored for Machine Reading Comprehension (MRC) tasks. Inspired by the principles of curriculum learning, we introduce the Linear Decay Label Smoothing Algorithm (LDLA), which progressively reduces uncertainty throughout the training process. Experiment on the HotpotQA dataset demonstrates the effectiveness of our methods in enhancing performance and generalizability in multi-hop reasoning, achieving new state-of-the-art results on the leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL