Exploring In-Context Learning Capabilities of Foundation Models for Generating Knowledge Graphs from Text

要約

ナレッジ グラフは、エンティティとその関係を使用して現実世界に関する情報を構造化された意味的に豊富な方法で表現でき、質問応答、推奨システム、意味検索、高度な分析などのさまざまな下流アプリケーションを可能にします。
ただし、現時点では、ナレッジ グラフの構築には多くの手作業が必要なため、状況によってはその適用が妨げられ、このプロセスの自動化は特に小規模な組織にとって有益となる可能性があります。
大量の自然言語から構造化ナレッジ グラフを自動的に生成することは依然として困難な作業であり、名前付きエンティティの抽出、関係の抽出、エンティティと関係のリンク、ナレッジ グラフの構築などのサブタスクに関する研究は、最先端技術の向上を目指しています。
テキストからのナレッジグラフの自動構築と完成。
さまざまな下流タスクに適応できる大量のトレーニング データを使用して自己教師付き方法でトレーニングされた数十億のパラメーターを備えた基礎モデルの最近の進歩は、広範囲の自然言語処理 (NLP) で高いパフォーマンスを実証するのに役立ちました。
タスク。
これに関連して、新たなパラダイムの 1 つは、微調整などの従来のアプローチを使用してモデルのパラメーターを変更せずに、タスクを実行するための指示といくつかの例を提供するプロンプトとともに言語モデルをそのまま使用するインコンテキスト学習です。
この方法では、モデルの再トレーニング/微調整にコンピューティング リソースは必要なく、エンジニアリングの労力は最小限で済みます。
したがって、テキストからナレッジグラフを生成するためにそのような機能を利用することは有益であろう。

要約(オリジナル)

Knowledge graphs can represent information about the real-world using entities and their relations in a structured and semantically rich manner and they enable a variety of downstream applications such as question-answering, recommendation systems, semantic search, and advanced analytics. However, at the moment, building a knowledge graph involves a lot of manual effort and thus hinders their application in some situations and the automation of this process might benefit especially for small organizations. Automatically generating structured knowledge graphs from a large volume of natural language is still a challenging task and the research on sub-tasks such as named entity extraction, relation extraction, entity and relation linking, and knowledge graph construction aims to improve the state of the art of automatic construction and completion of knowledge graphs from text. The recent advancement of foundation models with billions of parameters trained in a self-supervised manner with large volumes of training data that can be adapted to a variety of downstream tasks has helped to demonstrate high performance on a large range of Natural Language Processing (NLP) tasks. In this context, one emerging paradigm is in-context learning where a language model is used as it is with a prompt that provides instructions and some examples to perform a task without changing the parameters of the model using traditional approaches such as fine-tuning. This way, no computing resources are needed for re-training/fine-tuning the models and the engineering effort is minimal. Thus, it would be beneficial to utilize such capabilities for generating knowledge graphs from text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google