Uncertainty in Natural Language Generation: From Theory to Applications

要約

強力な言語モデルの最近の進歩により、自然言語生成 (NLG) は、要約や翻訳などの従来のタスクを実行できるだけでなく、さまざまなアプリケーションへの自然言語インターフェイスとしても機能する重要なテクノロジとして浮上しています。
したがって、NLG システムが信頼できるものであることが重要です。たとえば、NLG システムが間違っている可能性が高い時期を示すなどです。
そして、多様な人間の部分集団を反映して、複数の見解、背景、文体をサポートします。
この論文では、不確実性を原則に基づいて扱うことが、これらの目標に合わせてより適切に調整されたシステムと評価プロトコルを作成するのに役立つ可能性があると主張します。
まず、不確実性を表現するために必要な基本理論、フレームワーク、語彙を紹介します。
次に、NLG における主な不確実性の原因を言語学的観点から特徴付け、一般的な偶然論的/認識論的二分法よりも有益で忠実な 2 次元の分類法を提案します。
最後に、理論から応用に移り、不確実性を利用して解読、制御可能な生成、自己評価、選択的回答、アクティブ学習などを強化するエキサイティングな研究の方向性を強調します。

要約(オリジナル)

Recent advances of powerful Language Models have allowed Natural Language Generation (NLG) to emerge as an important technology that can not only perform traditional tasks like summarisation or translation, but also serve as a natural language interface to a variety of applications. As such, it is crucial that NLG systems are trustworthy and reliable, for example by indicating when they are likely to be wrong; and supporting multiple views, backgrounds and writing styles — reflecting diverse human sub-populations. In this paper, we argue that a principled treatment of uncertainty can assist in creating systems and evaluation protocols better aligned with these goals. We first present the fundamental theory, frameworks and vocabulary required to represent uncertainty. We then characterise the main sources of uncertainty in NLG from a linguistic perspective, and propose a two-dimensional taxonomy that is more informative and faithful than the popular aleatoric/epistemic dichotomy. Finally, we move from theory to applications and highlight exciting research directions that exploit uncertainty to power decoding, controllable generation, self-assessment, selective answering, active learning and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google