Large Language Model Enhanced Knowledge Representation Learning: A Survey

要約

知識表現学習（KRL）は、知識グラフ（KG）から象徴的な知識のアプリケーションを、知識の事実をベクトル空間に投影することにより、ダウンストリームタスクへのアプリケーションを可能にするために重要です。
KG構造情報のモデリングにおける有効性にもかかわらず、KRLメソッドはKGSのまばらさに苦しんでいます。
トランスアーキテクチャに基づいて構築された大規模な言語モデル（LLM）の台頭は、KGSの情報スパース性に対処するためにテキスト情報を組み込むことにより、KRLを強化するための有望な機会を提供します。
3つの重要なアプローチ、詳細なコンテキスト情報を活用するエンコーダーベースのメソッド、包括的なエンコードとデコードのための統合されたSEQ2SEQモデルを利用するエンコーダデコーダーベースのメソッド、および大規模なcorporaからの広範な知識を利用するデコーダーベースのメソッドを含むLLM強化KRLメソッドは、KRLの有効性と一般化を大幅に進めました。
この作業は、これらの進化するドメインの新しい研究方向を同時に識別しながら、下流のタスクの幅広い概要を提供します。

要約(オリジナル)

Knowledge Representation Learning (KRL) is crucial for enabling applications of symbolic knowledge from Knowledge Graphs (KGs) to downstream tasks by projecting knowledge facts into vector spaces. Despite their effectiveness in modeling KG structural information, KRL methods are suffering from the sparseness of KGs. The rise of Large Language Models (LLMs) built on the Transformer architecture presents promising opportunities for enhancing KRL by incorporating textual information to address information sparsity in KGs. LLM-enhanced KRL methods, including three key approaches, encoder-based methods that leverage detailed contextual information, encoder-decoder-based methods that utilize a unified Seq2Seq model for comprehensive encoding and decoding, and decoder-based methods that utilize extensive knowledge from large corpora, have significantly advanced the effectiveness and generalization of KRL in addressing a wide range of downstream tasks. This work provides a broad overview of downstream tasks while simultaneously identifying emerging research directions in these evolving domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google