ClueReader: Heterogeneous Graph Attention Network for Multi-hop Machine Reading Comprehension

要約

マルチホップ機械読解は、複数の文書にわたるより多くの推論能力を必要とするため、自然言語処理において困難なタスクです。
グラフ畳み込みネットワークに基づくスペクトル モデルは、優れた推論能力を示し、競争力のある結果につながります。
しかし、一部の人々の分析と推論は人間の分析と推論と一致しません。
認知神経科学における祖母細胞の概念に触発され、祖母細胞の概念を模倣する ClueReader という異種グラフ注意ネットワーク モデルを提案します。
このモデルは、意味論的特徴をマルチレベル表現で組み立て、アテンション メカニズムを通じて推論のための情報を自動的に集中または軽減するように設計されています。
ClueReader という名前は、モデルのパターンのメタファーです。クエリの対象を手がかりの開始点と見なし、推論エンティティをブリッジ ポイントとみなし、潜在的な候補エンティティを祖母セルとみなし、手がかりは最終的に候補エンティティになります。
提案モデルにより推論グラフの可視化が可能となり、エンティティ間を接続するエッジの重要性や言及・候補ノードの選択性を経験的に理解しやすく分析することが可能となる。
オープンドメインのマルチホップ読み取りデータセット WikiHop と薬物間相互作用データセット MedHop の評価により、ClueReader の有効性が証明され、分子生物学ドメインにおけるモデルの適用の実現可能性が示されました。

要約(オリジナル)

Multi-hop machine reading comprehension is a challenging task in natural language processing as it requires more reasoning ability across multiple documents. Spectral models based on graph convolutional networks have shown good inferring abilities and lead to competitive results. However, the analysis and reasoning of some are inconsistent with those of humans. Inspired by the concept of grandmother cells in cognitive neuroscience, we propose a heterogeneous graph attention network model named ClueReader to imitate the grandmother cell concept. The model is designed to assemble the semantic features in multi-level representations and automatically concentrate or alleviate information for reasoning through the attention mechanism. The name ClueReader is a metaphor for the pattern of the model: it regards the subjects of queries as the starting points of clues, takes the reasoning entities as bridge points, considers the latent candidate entities as grandmother cells, and the clues end up in candidate entities. The proposed model enables the visualization of the reasoning graph, making it possible to analyze the importance of edges connecting entities and the selectivity in the mention and candidate nodes, which is easier to comprehend empirically. Evaluations on the open-domain multi-hop reading dataset WikiHop and drug-drug interaction dataset MedHop proved the validity of ClueReader and showed the feasibility of its application of the model in the molecular biology domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google