Evaluating and Improving Graph to Text Generation with Large Language Models

要約

大規模な言語モデル（LLM）は、さまざまなタスクにわたって大きな可能性を示しています。
ただし、グラフ構造の解釈におけるLLMの機能を調査および改善するための研究は限られたままです。
このギャップに対処するために、グラフからテキストの生成タスクで現在のオープンソースLLMを促すという包括的な評価を実施します。
最適なプロンプト戦略を調査し、斬新で効果的な多様性に基づく少数のサンプル選択方法を提案しましたが、LLMSが複雑なグラフの計画に苦労しているため、特に
より多くのトリプレット。
グラフシーケンスと真実の接地を使用した計画においてLLMSをさらに改善するために、新しいグラフからテキストのデータセット、PlangTGを紹介し、2つのサブタスクを注文と属性を紹介します。
大規模な自動および人間の評価を通じて、PlangTGデータセットを使用した少数の学習と微調整された視点の両方から、生成されたテキストの品質の大幅な改善を示します。
私たちの研究は、グラフからテキストの生成における新しい研究の方向への道を開きます。
plangtgデータセットはhttps://github.com/probe2/kg_textにあります。

要約(オリジナル)

Large language models (LLMs) have demonstrated immense potential across various tasks. However, research for exploring and improving the capabilities of LLMs in interpreting graph structures remains limited. To address this gap, we conduct a comprehensive evaluation of prompting current open-source LLMs on graph-to-text generation tasks. Although we explored the optimal prompting strategies and proposed a novel and effective diversity-difficulty-based few-shot sample selection method, we found that the improvements from tuning-free approaches were incremental, as LLMs struggle with planning on complex graphs, particularly those with a larger number of triplets. To further improve LLMs in planning with graph sequences and grounding in truth, we introduce a new graph-to-text dataset, PlanGTG, annotated with two sub-tasks: reordering and attribution. Through extensive automatic and human evaluations, we demonstrate significant improvements in the quality of generated text from both few-shot learning and fine-tuning perspectives using the PlanGTG dataset. Our study paves the way for new research directions in graph-to-text generation. PlanGTG datasets can be found in https://github.com/probe2/kg_text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google