Reranking for Natural Language Generation from Logical Forms: A Study based on Large Language Models

要約

大規模言語モデル (LLM) は、自然言語生成において優れた機能を実証しています。
ただし、出力品質に一貫性がない場合があり、論理形式 (LF) から自然言語を生成する際に課題が生じます。
このタスクでは、生成された出力が、LF セマンティクスを欠落したり幻覚を生成したりすることなく、LF の正確なセマンティクスを具体化する必要があります。
この研究では、新しい生成と再ランク付けのアプローチを提案することで、この問題に取り組みます。
私たちのアプローチでは、最初に LLM をプロンプトすることによって一連の候補出力を生成し、その後タスク固有のリランカー モデルを使用してそれらを再ランク付けします。
さらに、手動で収集したデータセットを厳選して、さまざまなランキング指標と人間の判断との間の整合性を評価します。
選択されたランキング指標は、リランカー モデルのトレーニングと評価を強化するために利用されます。
3 つの多様なデータセットに対して広範な実験を実施することにより、リランカーによって選択された候補が、3 つの包括的な指標によって測定される意味の一貫性と流暢さの点で、ベースライン手法によって選択された候補よりも優れていることが実証されました。
私たちの調査結果は、生成される出力の品質を向上させる上でのアプローチの有効性を示す強力な証拠を提供します。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive capabilities in natural language generation. However, their output quality can be inconsistent, posing challenges for generating natural language from logical forms (LFs). This task requires the generated outputs to embody the exact semantics of LFs, without missing any LF semantics or creating any hallucinations. In this work, we tackle this issue by proposing a novel generate-and-rerank approach. Our approach involves initially generating a set of candidate outputs by prompting an LLM and subsequently reranking them using a task-specific reranker model. In addition, we curate a manually collected dataset to evaluate the alignment between different ranking metrics and human judgements. The chosen ranking metrics are utilized to enhance the training and evaluation of the reranker model. By conducting extensive experiments on three diverse datasets, we demonstrate that the candidates selected by our reranker outperform those selected by baseline methods in terms of semantic consistency and fluency, as measured by three comprehensive metrics. Our findings provide strong evidence for the effectiveness of our approach in improving the quality of generated outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google