Sequential Query Encoding For Complex Query Answering on Knowledge Graphs

要約

複雑なクエリ応答 (CQA) は、ナレッジ グラフ (KG) 推論にとって重要かつ基本的なタスクです。
クエリ エンコーディング (QE) は、CQA に対する高速かつ堅牢なソリューションとして提案されています。
エンコード プロセスでは、既存の QE メソッドのほとんどは、まず論理クエリを実行可能な計算直接非巡回グラフ (DAG) に解析し、次にニューラル ネットワークを使用して演算子をパラメータ化し、最後にこれらのニューラル化された演算子を再帰的に実行します。
ただし、パラメータ化と実行のパラダイムは、単一のニューラル ネットワーク エンコーダによって構造的に単純化できるため、過度に複雑になる可能性があります。
一方、LSTM や Transformer などのシーケンス エンコーダは、関連タスクのセマンティック グラフをエンコードするのに効果的であることが証明されました。
これを動機として、CQA のクエリをエンコードする代替手段としてシーケンシャル クエリ エンコーディング (SQE) を提案します。
計算グラフをパラメータ化して実行する代わりに、SQE はまず検索ベースのアルゴリズムを使用して計算グラフをトークンのシーケンスに線形化し、次にシーケンス エンコーダーを使用してそのベクトル表現を計算します。
次に、このベクトル表現をクエリ埋め込みとして使用し、類似性スコアに従って埋め込み空間から回答を取得します。
SQE は、そのシンプルさにもかかわらず、29 種類のインディストリビューション クエリを含む拡張ベンチマークで、FB15k、FB15k-237、および NELL での最先端のニューラル クエリ エンコーディング パフォーマンスを実証します。
さらなる実験により、SQE は、トレーニング プロセス中にクエリ タイプが観察されない分布外クエリに対しても同等の知識推論能力を実証することが示されました。

要約(オリジナル)

Complex Query Answering (CQA) is an important and fundamental task for knowledge graph (KG) reasoning. Query encoding (QE) is proposed as a fast and robust solution to CQA. In the encoding process, most existing QE methods first parse the logical query into an executable computational direct-acyclic graph (DAG), then use neural networks to parameterize the operators, and finally, recursively execute these neuralized operators. However, the parameterization-and-execution paradigm may be potentially over-complicated, as it can be structurally simplified by a single neural network encoder. Meanwhile, sequence encoders, like LSTM and Transformer, proved to be effective for encoding semantic graphs in related tasks. Motivated by this, we propose sequential query encoding (SQE) as an alternative to encode queries for CQA. Instead of parameterizing and executing the computational graph, SQE first uses a search-based algorithm to linearize the computational graph to a sequence of tokens and then uses a sequence encoder to compute its vector representation. Then this vector representation is used as a query embedding to retrieve answers from the embedding space according to similarity scores. Despite its simplicity, SQE demonstrates state-of-the-art neural query encoding performance on FB15k, FB15k-237, and NELL on an extended benchmark including twenty-nine types of in-distribution queries. Further experiment shows that SQE also demonstrates comparable knowledge inference capability on out-of-distribution queries, whose query types are not observed during the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google