SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning

要約

質問から回答まで構造化された説明で推論プロセスを解明することは、質問応答 (QA) システムの解釈可能性と信頼性を大幅に高めるため、基本的に重要です。
ただし、構造化された説明では、モデルが複雑な構造化された推論を実行する必要があり、これには大きな課題が伴います。
既存の手法のほとんどは、教師あり学習による単一ステップの推論に焦点を当てており、ステップ間の論理的な依存関係を無視しています。
一方、既存の強化学習 (RL) ベースの手法は構造化された関係を見落としており、構造化推論における RL の可能性を妨げています。
この論文では、構造化された推論と説明を容易にするために構造ベースの収益を最大化する新しい手法である SEER を提案します。
私たちが提案する構造ベースのリターンは、構造化推論に固有の階層構造と分岐構造を正確に記述し、状態間の複雑な関係を効果的に捉えます。
また、さまざまな推論ステップを細心の注意を払って描写するための、きめの細かい報酬関数も導入します。
広範な実験により、SEER は最先端の手法を大幅に上回っており、EntailmentBank では RL ベースの手法と比較して 6.9% の絶対的な向上を達成し、STREET ベンチマークでは平均 4.4% の向上を達成し、優れた効率とクロスデータセット汎化パフォーマンスを示していることが示されています。
。

要約(オリジナル)

Elucidating the reasoning process with structured explanations from question to answer is fundamentally crucial, as it significantly enhances the interpretability and trustworthiness of question-answering (QA) systems. However, structured explanations demand models to perform intricate structured reasoning, which poses great challenges. Most existing methods focus on single-step reasoning through supervised learning, ignoring logical dependencies between steps. Meanwhile, existing reinforcement learning (RL)-based methods overlook the structured relationships, impeding RL’s potential in structured reasoning. In this paper, we propose SEER, a novel method that maximizes a structure-based return to facilitate structured reasoning and explanation. Our proposed structure-based return precisely describes the hierarchical and branching structure inherent in structured reasoning, effectively capturing the intricate relationships between states. We also introduce a fine-grained reward function to meticulously delineate diverse reasoning steps. Extensive experiments show that SEER significantly outperforms state-of-the-art methods, achieving an absolute improvement of 6.9% over RL-based methods on EntailmentBank, a 4.4% average improvement on STREET benchmark, and exhibiting outstanding efficiency and cross-dataset generalization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google