AmbigNLG: Addressing Task Ambiguity in Instruction for NLG

要約

自然言語生成 (NLG) の命令におけるタスクの曖昧さの課題に取り組むために設計された新しいタスクである AmbigNLG を紹介します。
あいまいな命令は、特に複雑な NLG タスクにおいて、大規模言語モデル (LLM) のパフォーマンスを妨げることがよくあります。
この問題に取り組むために、さまざまな種類の命令の曖昧さを分類し、より明確な仕様で初期命令を洗練する曖昧さ分類法を提案します。
このタスクに付随して、AmbigNLG での研究を容易にするために注釈が付けられた 2,500 個のインスタンスで構成されるデータセットである AmbigSNI-NLG を紹介します。
最先端の LLM を使用した包括的な実験を通じて、私たちの方法が生成されたテキストとユーザーの期待との整合性を大幅に強化し、ROUGE スコアが最大 15.02 ポイント増加することを実証しました。
私たちの調査結果は、NLG タスクで LLM の機能を最大限に活用するには、タスクのあいまいさに対処することが非常に重要であることを強調しています。
さらに、ユーザーとのインタラクティブなあいまいさの軽減を伴う実際の設定におけるこの方法の有効性を確認し、インタラクティブな明確化に LLM を活用する利点を強調します。

要約(オリジナル)

We introduce AmbigNLG, a novel task designed to tackle the challenge of task ambiguity in instructions for Natural Language Generation (NLG). Ambiguous instructions often impede the performance of Large Language Models (LLMs), especially in complex NLG tasks. To tackle this issue, we propose an ambiguity taxonomy that categorizes different types of instruction ambiguities and refines initial instructions with clearer specifications. Accompanying this task, we present AmbigSNI-NLG, a dataset comprising 2,500 instances annotated to facilitate research in AmbigNLG. Through comprehensive experiments with state-of-the-art LLMs, we demonstrate that our method significantly enhances the alignment of generated text with user expectations, achieving up to a 15.02-point increase in ROUGE scores. Our findings highlight the critical importance of addressing task ambiguity to fully harness the capabilities of LLMs in NLG tasks. Furthermore, we confirm the effectiveness of our method in practical settings involving interactive ambiguity mitigation with users, underscoring the benefits of leveraging LLMs for interactive clarification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google