AmbigNLG: Addressing Task Ambiguity in Instruction for NLG

要約

この研究では、自然言語生成 (NLG) タスクの命令におけるタスクの曖昧さの課題に取り組むために設計された新しいタスクである AmbigNLG を紹介します。
大規模言語モデル (LLM) は、自然言語対話を通じて幅広いタスクを理解して実行する優れた機能を備えていますが、実際の命令に存在する曖昧さによってそのパフォーマンスが大幅に妨げられています。
これに対処するために、AmbigNLG はそのような曖昧さを特定して軽減し、ユーザーの期待によりよく一致するように命令を改良することを目指しています。
2,500 個のインスタンスで構成されるデータセット AmbigSNI-NLG を導入し、命令の曖昧性を分類して注釈を付けるための曖昧性分類法を開発します。
私たちのアプローチは、テキスト生成品質の大幅な向上を実証し、NLG タスクにおける LLM パフォーマンスの向上における明確で具体的な指示の重要な役割を強調しています。

要約(オリジナル)

In this study, we introduce AmbigNLG, a new task designed to tackle the challenge of task ambiguity in instructions for Natural Language Generation (NLG) tasks. Despite the impressive capabilities of Large Language Models (LLMs) in understanding and executing a wide range of tasks through natural language interaction, their performance is significantly hindered by the ambiguity present in real-world instructions. To address this, AmbigNLG seeks to identify and mitigate such ambiguities, aiming to refine instructions to match user expectations better. We introduce a dataset, AmbigSNI-NLG, consisting of 2,500 instances, and develop an ambiguity taxonomy for categorizing and annotating instruction ambiguities. Our approach demonstrates substantial improvements in text generation quality, highlighting the critical role of clear and specific instructions in enhancing LLM performance in NLG tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google