G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning

要約

常識的な質問応答は、アシスタントやソーシャル ロボットなどのさまざまなアプリケーションにわたって大きな可能性を示しています。
完全に微調整された事前トレーニング済み言語モデル (LM) は常識的な推論において顕著なパフォーマンスを達成していますが、テキスト情報を過度に優先する傾向があるため、構造的知識の正確な伝達が妨げられ、解釈可能性が損なわれます。
いくつかの研究では、異種モダリティ間の深い相互作用が欠けているグラフ ニューラル ネットワーク (GNN) ベースの推論を実行するために 2 つのモダリティを大まかに融合することによって、LM とナレッジ グラフ (KG) を組み合わせることが検討されています。
この論文では、異種知識間のバランスを維持し、LM+GNN モデル内のクロスモーダル相互作用を強化することを目的として、G-SAP と呼ばれる、常識推論のための新しいグラフベースの構造認識プロンプト学習モデルを提案します。
特に、証拠グラフは、ConceptNet、Wikipedia、Cambridge Dictionary などの複数の知識ソースを統合して構築され、パフォーマンスが向上します。
その後、構造認識型フローズン PLM を使用して、証拠グラフからの構造化情報とテキスト情報を完全に組み込みます。プロンプトの生成は、グラフ エンティティと関係によって駆動されます。
最後に、異種メッセージパッシング推論モジュールを使用して、LM とグラフベースのネットワーク間の知識の深い相互作用を促進します。
3 つのベンチマーク データセットに対する広範な実験を通じて実施された経験的検証により、提案されたモデルの顕著なパフォーマンスが実証されました。
結果は、既存のモデルと比較して大幅な進歩があり、特に OpenbookQA データセットの SoTA LM+GNNs モデルと比較して 6.12% 向上していることを示しています。

要約(オリジナル)

Commonsense question answering has demonstrated considerable potential across various applications like assistants and social robots. Although fully fine-tuned pre-trained Language Models(LM) have achieved remarkable performance in commonsense reasoning, their tendency to excessively prioritize textual information hampers the precise transfer of structural knowledge and undermines interpretability. Some studies have explored combining LMs with Knowledge Graphs(KGs) by coarsely fusing the two modalities to perform Graph Neural Network(GNN)-based reasoning that lacks a profound interaction between heterogeneous modalities. In this paper, we propose a novel Graph-based Structure-Aware Prompt Learning Model for commonsense reasoning, named G-SAP, aiming to maintain a balance between heterogeneous knowledge and enhance the cross-modal interaction within the LM+GNNs model. In particular, an evidence graph is constructed by integrating multiple knowledge sources, i.e. ConceptNet, Wikipedia, and Cambridge Dictionary to boost the performance. Afterward, a structure-aware frozen PLM is employed to fully incorporate the structured and textual information from the evidence graph, where the generation of prompts is driven by graph entities and relations. Finally, a heterogeneous message-passing reasoning module is used to facilitate deep interaction of knowledge between the LM and graph-based networks. Empirical validation, conducted through extensive experiments on three benchmark datasets, demonstrates the notable performance of the proposed model. The results reveal a significant advancement over the existing models, especially, with 6.12% improvement over the SoTA LM+GNNs model on the OpenbookQA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google