Causal Question Answering with Reinforcement Learning

要約

因果関係の質問は、さまざまな出来事や現象の間の因果関係について尋ねます。
これらは、仮想アシスタントや検索エンジンなど、さまざまなユースケースにとって重要です。
しかし、因果関係のある質問に答えるための現在のアプローチの多くは、答えの説明や証拠を提供できません。
したがって、この論文では、名詞句間の因果関係とその関係の出所データを示す大規模なデータセットである因果関係グラフを使用して、因果関係の質問に答えることを目的としています。
リンク予測やファクトチェックなど、ナレッジ グラフ タスクへの強化学習の最近成功した応用例に触発され、因果関係質問応答のための因果関係グラフへの強化学習の応用を検討します。
因果関係のある質問に答えるためにグラフを検索することを学習する Actor-Critic ベースのエージェントを紹介します。
教師あり学習手順を使用してエージェントをブートストラップし、大規模なアクション スペースとまばらな報酬に対処します。
私たちの評価では、単純な幅優先検索では 3,000 ノードを超えるのに対し、エージェントは質問ごとに 30 未満のノードを訪問することで、バイナリ因果関係の質問に答えるために検索空間を適切にプルーニングしていることがわかります。
私たちのアブレーション研究は、教師あり学習戦略が強化学習エージェントを改善するための強力な基盤を提供することを示しています。
エージェントから返されたパスは、原因が結果を生み出すメカニズムを説明します。
さらに、パス上の各エッジに対して、因果関係グラフは元のソースを提供し、パスの検証を容易にします。

要約(オリジナル)

Causal questions inquire about causal relationships between different events or phenomena. They are important for a variety of use cases, including virtual assistants and search engines. However, many current approaches to causal question answering cannot provide explanations or evidence for their answers. Hence, in this paper, we aim to answer causal questions with a causality graph, a large-scale dataset of causal relations between noun phrases along with the relations’ provenance data. Inspired by recent, successful applications of reinforcement learning to knowledge graph tasks, such as link prediction and fact-checking, we explore the application of reinforcement learning on a causality graph for causal question answering. We introduce an Actor-Critic-based agent which learns to search through the graph to answer causal questions. We bootstrap the agent with a supervised learning procedure to deal with large action spaces and sparse rewards. Our evaluation shows that the agent successfully prunes the search space to answer binary causal questions by visiting less than 30 nodes per question compared to over 3,000 nodes by a naive breadth-first search. Our ablation study indicates that our supervised learning strategy provides a strong foundation upon which our reinforcement learning agent improves. The paths returned by our agent explain the mechanisms by which a cause produces an effect. Moreover, for each edge on a path, our causality graph provides its original source allowing for easy verification of paths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google