Evaluating and Improving Graph to Text Generation with Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって計り知れない可能性を実証しています。
ただし、グラフ構造を解釈する際の LLM の機能を調査および改善するための研究は依然として限られています。
このギャップに対処するために、グラフからテキストへの生成タスクに関する現在のオープンソース LLM のプロンプトに関する包括的な評価を実施します。
私たちは最適なプロンプト戦略を調査し、新しく効果的な多様性難易度ベースの少数ショット サンプル選択方法を提案しましたが、LLM は複雑なグラフ、特に複雑なグラフの計画に苦労しているため、チューニング不要のアプローチによる改善が段階的に行われていることがわかりました。
三つ子の数が増える。
グラフ シーケンスを使用した計画と真実に基づく LLM をさらに改善するために、並べ替えとアトリビューションという 2 つのサブタスクで注釈が付けられた、新しいグラフからテキストへのデータセット PlanGTG を導入します。
広範な自動評価と人間による評価を通じて、PlanGTG データセットを使用した少数ショット学習と微調整の両方の観点から、生成されたテキストの品質が大幅に向上することを実証しました。
私たちの研究は、グラフからテキストへの生成における新しい研究の方向性への道を切り開きます。
PlanGTG データセットは https://github.com/probe2/kg_text にあります。

要約(オリジナル)

Large language models (LLMs) have demonstrated immense potential across various tasks. However, research for exploring and improving the capabilities of LLMs in interpreting graph structures remains limited. To address this gap, we conduct a comprehensive evaluation of prompting current open-source LLMs on graph-to-text generation tasks. Although we explored the optimal prompting strategies and proposed a novel and effective diversity-difficulty-based few-shot sample selection method, we found that the improvements from tuning-free approaches were incremental, as LLMs struggle with planning on complex graphs, particularly those with a larger number of triplets. To further improve LLMs in planning with graph sequences and grounding in truth, we introduce a new graph-to-text dataset, PlanGTG, annotated with two sub-tasks: reordering and attribution. Through extensive automatic and human evaluations, we demonstrate significant improvements in the quality of generated text from both few-shot learning and fine-tuning perspectives using the PlanGTG dataset. Our study paves the way for new research directions in graph-to-text generation. PlanGTG datasets can be found in https://github.com/probe2/kg_text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google