Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs

要約

基礎となる知識表現として構造化ナレッジ グラフ (KG) データを使用するシステムでは、KG からテキストへの生成は、グラフ データの一部を人間が理解できるテキストに変換するための便利なツールです。
最近の研究では、大量のテキスト データで事前トレーニングを利用するモデルが、特定のグラフからテキストへのタスクで比較的小さなトレーニング データのセットを使用した場合でも、KG からテキストへのタスクで良好に実行できることが示されています。
この論文では、大規模な言語モデルを使用して、読み取れるものからの三重構造のモデルの理解のみに基づいてゼロショット生成を実行することで、この概念を構築します。
ChatGPT は、WebNLG 2020 チャレンジの一部の尺度ではほぼ最先端のパフォーマンスを達成していますが、他の尺度では遅れを取っていることを示します。
さらに、事実、反事実、架空の記述を比較し、LLM が解析しているデータについてすでに知っていることと出力テキストの品質との間に重要な関係があることを示します。

要約(オリジナル)

In any system that uses structured knowledge graph (KG) data as its underlying knowledge representation, KG-to-text generation is a useful tool for turning parts of the graph data into text that can be understood by humans. Recent work has shown that models that make use of pretraining on large amounts of text data can perform well on the KG-to-text task even with relatively small sets of training data on the specific graph-to-text task. In this paper, we build on this concept by using large language models to perform zero-shot generation based on nothing but the model’s understanding of the triple structure from what it can read. We show that ChatGPT achieves near state-of-the-art performance on some measures of the WebNLG 2020 challenge, but falls behind on others. Additionally, we compare factual, counter-factual and fictional statements, and show that there is a significant connection between what the LLM already knows about the data it is parsing and the quality of the output text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google