A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information

要約

既存の質問応答手法は、タスクを解決するために、入力コンテンツ（例えば、文書やビデオ）が常にアクセス可能であることを前提としていることが多い。あるいは、固定容量のメモリで情報を漸進的に理解し圧縮するという人間のプロセスを模倣するために、メモリネットワークが導入された。しかし、これらのモデルは、答えの誤りをネットワーク全体にバックプロパゲートすることによって、記憶を維持する方法を学習するだけである。それどころか、人間はリハーサルや先読みなど、暗記能力を高める有効なメカニズムを持っていることが示唆されている。我々は、これらから着想を得て、ストリーミングデータから質問応答タスクを解くために重要な情報を記憶するために、入力処理中にリハーサルと予期を行う記憶モデルを提案する。提案するメカニズムは、共参照情報に焦点を当てたマスクされたモデリングタスクを通じて、トレーニング中に自己教師付きで適用される。短文データセット（bAbI）、大文データセット（NarrativeQA）、動画データセット（ActivityNet-QA）において本モデルを検証し、従来の記憶ネットワークアプローチよりも大幅に改善することができた。さらに、アブレーション研究により、提案したメカニズムが記憶モデルにとって重要であることが確認されました。

要約(オリジナル)

Existing question answering methods often assume that the input content (e.g., documents or videos) is always accessible to solve the task. Alternatively, memory networks were introduced to mimic the human process of incremental comprehension and compression of the information in a fixed-capacity memory. However, these models only learn how to maintain memory by backpropagating errors in the answers through the entire network. Instead, it has been suggested that humans have effective mechanisms to boost their memorization capacities, such as rehearsal and anticipation. Drawing inspiration from these, we propose a memory model that performs rehearsal and anticipation while processing inputs to memorize important information for solving question answering tasks from streaming data. The proposed mechanisms are applied self-supervised during training through masked modeling tasks focused on coreference information. We validate our model on a short-sequence (bAbI) dataset as well as large-sequence textual (NarrativeQA) and video (ActivityNet-QA) question answering datasets, where it achieves substantial improvements over previous memory network approaches. Furthermore, our ablation study confirms the proposed mechanisms’ importance for memory models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL