Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning

要約

生成常識推論 (GCR) では、一貫した文章を生成しながら、常識知識を使用して状況を推論するモデルが必要です。
生成される文の品質は非常に重要ですが、生成の多様性は、さまざまな常識的な知識事実を使用するモデルの能力を反映するため、同様に重要です。
大規模言語モデル (LLM) は、微調整を必要とせずに、与えられた例を使用したインコンテキスト学習 (ICL) を通じて、さまざまなタスクにわたって生成品質を向上させることに熟練していることを示しています。
ただし、LLM 出力の多様性の側面はこれまで体系的に研究されていませんでした。
これに対処するために、LLM の品質を維持しながら LLM の世代を多様化する簡単な方法を提案します。
3 つのベンチマーク GCR データセットに関する実験結果は、私たちの方法が品質と多様性の間の理想的なバランスを達成していることを示しています。
さらに、提案手法によって生成された文は、既存の常識ジェネレータの多様性を向上させるための教師データとして使用できます。

要約(オリジナル)

Generative Commonsense Reasoning (GCR) requires a model to reason about a situation using commonsense knowledge, while generating coherent sentences. Although the quality of the generated sentences is crucial, the diversity of the generation is equally important because it reflects the model’s ability to use a range of commonsense knowledge facts. Large Language Models (LLMs) have shown proficiency in enhancing the generation quality across various tasks through in-context learning (ICL) using given examples without the need for any fine-tuning. However, the diversity aspect in LLM outputs has not been systematically studied before. To address this, we propose a simple method that diversifies the LLM generations, while preserving their quality. Experimental results on three benchmark GCR datasets show that our method achieves an ideal balance between the quality and diversity. Moreover, the sentences generated by our proposed method can be used as training data to improve diversity in existing commonsense generators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google