Adapting Neural Link Predictors for Data-Efficient Complex Query Answering

要約

不完全なナレッジ グラフに対する複雑なクエリに答えることは、欠落したナレッジが存在する中でモデルが複雑な論理クエリに答える必要がある難しいタスクです。
これまでの文献研究では、データとリソースを大量に消費するトレーニングを必要とする一方で、解釈が難しい推論プロセスを伴う複雑なクエリ応答タスク用にエンドツーエンドでトレーニングされたアーキテクチャを設計することで、この問題に対処することが提案されています。
他の研究分野では、複雑なクエリに答えるために単純なニューラル リンク予測子を再利用し、解釈可能な答えを提供しながらトレーニング データの量を桁違いに削減することを提案しています。
このようなアプローチで使用されるニューラル リンク プレディクターは、複雑なクエリ応答タスク用に明示的に最適化されていません。これは、そのスコアが相互作用するように調整されていないことを意味します。
私たちは、複雑なクエリ応答タスクのニューラル リンク予測スコアを再調整するために最適化されたパラメーター効率の高いスコア \emph{adaptation} モデルである CQD$^{\mathcal{A}}$ によってこれらの問題に対処することを提案します。
ニューラル リンク プレディクターがフリーズしている間、モデル パラメーターの数を $0.03\%$ だけ増加させる適応コンポーネントは、下流の複雑なクエリ応答タスクでトレーニングされます。
さらに、キャリブレーション コンポーネントにより、アトミック否定を含むクエリに対する推論をサポートできるようになります。これは、リンク プレディクタでは以前は不可能でした。
私たちの実験では、CQD$^{\mathcal{A}}$ は現在の最先端の方法よりもはるかに正確な結果を生成し、$34.4$ から $35.1$ に向上しました。平均逆数ランク値はすべてのデータセットとクエリ タイプで平均化されました。
使用可能なトレーニング クエリ タイプの $\leq 30\%$ を使用します。
さらに、CQD$^{\mathcal{A}}$ はデータ効率が高く、トレーニングの複雑なクエリの $1\%$ のみで競争力のある結果を達成し、ドメイン外の評価において堅牢であることを示します。

要約(オリジナル)

Answering complex queries on incomplete knowledge graphs is a challenging task where a model needs to answer complex logical queries in the presence of missing knowledge. Prior work in the literature has proposed to address this problem by designing architectures trained end-to-end for the complex query answering task with a reasoning process that is hard to interpret while requiring data and resource-intensive training. Other lines of research have proposed re-using simple neural link predictors to answer complex queries, reducing the amount of training data by orders of magnitude while providing interpretable answers. The neural link predictor used in such approaches is not explicitly optimised for the complex query answering task, implying that its scores are not calibrated to interact together. We propose to address these problems via CQD$^{\mathcal{A}}$, a parameter-efficient score \emph{adaptation} model optimised to re-calibrate neural link prediction scores for the complex query answering task. While the neural link predictor is frozen, the adaptation component — which only increases the number of model parameters by $0.03\%$ — is trained on the downstream complex query answering task. Furthermore, the calibration component enables us to support reasoning over queries that include atomic negations, which was previously impossible with link predictors. In our experiments, CQD$^{\mathcal{A}}$ produces significantly more accurate results than current state-of-the-art methods, improving from $34.4$ to $35.1$ Mean Reciprocal Rank values averaged across all datasets and query types while using $\leq 30\%$ of the available training query types. We further show that CQD$^{\mathcal{A}}$ is data-efficient, achieving competitive results with only $1\%$ of the training complex queries, and robust in out-of-domain evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google