Sequential Query Encoding For Complex Query Answering on Knowledge Graphs

要約

複雑なクエリ応答 (CQA) は、ナレッジ グラフ (KG) 推論の重要かつ基本的なタスクです。
クエリ エンコーディング (QE) は、CQA に対する高速で堅牢なソリューションとして提案されています。
エンコーディング プロセスでは、ほとんどの既存の QE メソッドは、最初に論理クエリを実行可能な計算直接非巡回グラフ (DAG) に解析し、次にニューラル ネットワークを使用して演算子をパラメーター化し、最後にこれらのニューラル化された演算子を再帰的に実行します。
ただし、パラメーター化と実行のパラダイムは、単一のニューラル ネットワーク エンコーダーによって構造的に単純化できるため、複雑すぎる可能性があります。
一方、LSTM や Transformer などのシーケンス エンコーダーは、関連するタスクでセマンティック グラフをエンコードするのに効果的であることが証明されました。
これに動機付けられて、CQA のクエリをエンコードする代替手段として、順次クエリ エンコード (SQE) を提案します。
計算グラフをパラメーター化して実行する代わりに、SQE は最初に検索ベースのアルゴリズムを使用して計算グラフをトークンのシーケンスに線形化し、次にシーケンス エンコーダーを使用してそのベクトル表現を計算します。
次に、このベクトル表現をクエリ埋め込みとして使用して、類似度スコアに従って埋め込みスペースから回答を取得します。
その単純さにもかかわらず、SQE は FB15k、FB15k-237、および NELL で最先端のニューラル クエリ エンコーディング パフォーマンスを、29 種類のディストリビューション内クエリを含む拡張ベンチマークで実証します。
さらに実験を行うと、SQE は、トレーニング プロセス中にクエリ タイプが観察されない分散外クエリに対しても、同等の知識推論機能を発揮することが示されています。

要約(オリジナル)

Complex Query Answering (CQA) is an important and fundamental task for knowledge graph (KG) reasoning. Query encoding (QE) is proposed as a fast and robust solution to CQA. In the encoding process, most existing QE methods first parse the logical query into an executable computational direct-acyclic graph (DAG), then use neural networks to parameterize the operators, and finally, recursively execute these neuralized operators. However, the parameterization-and-execution paradigm may be potentially over-complicated, as it can be structurally simplified by a single neural network encoder. Meanwhile, sequence encoders, like LSTM and Transformer, proved to be effective for encoding semantic graphs in related tasks. Motivated by this, we propose sequential query encoding (SQE) as an alternative to encode queries for CQA. Instead of parameterizing and executing the computational graph, SQE first uses a search-based algorithm to linearize the computational graph to a sequence of tokens and then uses a sequence encoder to compute its vector representation. Then this vector representation is used as a query embedding to retrieve answers from the embedding space according to similarity scores. Despite its simplicity, SQE demonstrates state-of-the-art neural query encoding performance on FB15k, FB15k-237, and NELL on an extended benchmark including twenty-nine types of in-distribution queries. Further experiment shows that SQE also demonstrates comparable knowledge inference capability on out-of-distribution queries, whose query types are not observed during the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google