A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation

要約

グラフ構造化データから自然言語テキストを生成することは、会話による情報探索に不可欠である。知識グラフから得られるセマンティック・トリプルは、会話エージェントが伝達する情報の事実的根拠を提供することで、会話エージェントからの応答の根拠となる貴重な情報源となる。このことは、会話対話に大きな可能性を提供するが、幻覚を見たり、省略したり、矛盾する情報を生成しがちな大規模言語モデルのコンテキストにおいて特に関連する。本研究では、セマンティック・トリプルから自然言語テキストを生成する会話型大規模言語モデルの実証分析を行う。様々なサイズの4つの大規模言語モデルを、様々なプロンプト技術と比較する。WebNLGデータセット上での一連のベンチマーク実験を通して、モデルの性能を分析し、生成された予測における最も一般的な問題を特定する。その結果、トリプル言語化における大規模言語モデルの能力は、少数ショットのプロンプト、後処理、および効率的な微調整技術によって、特にゼロショットの性能が低い小規模モデルにおいて、大幅に改善できることがわかった。

要約(オリジナル)

Generating natural language text from graph-structured data is essential for conversational information seeking. Semantic triples derived from knowledge graphs can serve as a valuable source for grounding responses from conversational agents by providing a factual basis for the information they communicate. This is especially relevant in the context of large language models, which offer great potential for conversational interaction but are prone to hallucinating, omitting, or producing conflicting information. In this study, we conduct an empirical analysis of conversational large language models in generating natural language text from semantic triples. We compare four large language models of varying sizes with different prompting techniques. Through a series of benchmark experiments on the WebNLG dataset, we analyze the models’ performance and identify the most common issues in the generated predictions. Our findings show that the capabilities of large language models in triple verbalization can be significantly improved through few-shot prompting, post-processing, and efficient fine-tuning techniques, particularly for smaller models that exhibit lower zero-shot performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL