Relation-Aware Network with Attention-Based Loss for Few-Shot Knowledge Graph Completion

要約

少数ショット ナレッジ グラフ補完 (FKGC) タスクは、少数ショットの参照エンティティ ペアとの関係の目に見えない事実を予測することを目的としています。
現在のアプローチでは、マージンベースのランキング損失を最小限に抑えるために、参照エンティティのペアごとに 1 つの負のサンプルをランダムに選択します。これは、負のサンプルが正のサンプルから遠く離れており、マージンの外にある場合に、簡単にゼロ損失の問題につながります。
さらに、エンティティは、異なるコンテキストの下では異なる表現を持つ必要があります。
これらの問題に取り組むために、私たちは、注意ベースの損失 (RANA) を備えた新しい関係認識ネットワーク フレームワークを提案します。
具体的には、豊富なネガティブ サンプルをより有効に活用し、ゼロ損失の問題を軽減するために、関連するネガティブ サンプルを戦略的に選択し、注意ベースの損失関数を設計して、各ネガティブ サンプルの重要性をさらに区別します。
直観的には、ネガティブ サンプルがポジティブ サンプルに類似しているほど、モデルへの寄与が大きくなるということです。
さらに、コンテキスト依存エンティティ表現を学習するための動的関係認識エンティティ エンコーダを設計します。
実験では、RANA が 2 つのベンチマーク データセットで最先端のモデルを上回るパフォーマンスを示しています。

要約(オリジナル)

Few-shot knowledge graph completion (FKGC) task aims to predict unseen facts of a relation with few-shot reference entity pairs. Current approaches randomly select one negative sample for each reference entity pair to minimize a margin-based ranking loss, which easily leads to a zero-loss problem if the negative sample is far away from the positive sample and then out of the margin. Moreover, the entity should have a different representation under a different context. To tackle these issues, we propose a novel Relation-Aware Network with Attention-Based Loss (RANA) framework. Specifically, to better utilize the plentiful negative samples and alleviate the zero-loss issue, we strategically select relevant negative samples and design an attention-based loss function to further differentiate the importance of each negative sample. The intuition is that negative samples more similar to positive samples will contribute more to the model. Further, we design a dynamic relation-aware entity encoder for learning a context-dependent entity representation. Experiments demonstrate that RANA outperforms the state-of-the-art models on two benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google