What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability

要約

自然言語生成 (NLG) タスクでは、あらゆる入力に対して、複数のコミュニケーション目標が考えられ、あらゆる目標を複数の方法で言葉にしたり、生成したりできます。
私たちは、人間の生産が 4 つの NLG タスクにわたって語彙的、構文的、意味的にどの程度変動するかを特徴付け、人間の生産の変動を偶然性またはデータの不確実性と結び付けます。
次に、生成システムの予測確率分布と復号アルゴリズムによって形成された出力文字列の空間を検査して、その不確実性を調査します。
テスト入力ごとに、人間の生産変動に対する発電機の校正を測定します。
このインスタンスレベルのアプローチに従って、NLG モデルとデコード戦略を分析し、複数のサンプルと、可能であれば複数の参照を使用してジェネレーターを精査することで、モデルの不確実性の表現を理解するために必要な詳細レベルが提供されることを実証します。
コードは https://github.com/dmg-illc/nlg-uncertainty-probes で入手できます。

要約(オリジナル)

In Natural Language Generation (NLG) tasks, for any input, multiple communicative goals are plausible, and any goal can be put into words, or produced, in multiple ways. We characterise the extent to which human production varies lexically, syntactically, and semantically across four NLG tasks, connecting human production variability to aleatoric or data uncertainty. We then inspect the space of output strings shaped by a generation system’s predicted probability distribution and decoding algorithm to probe its uncertainty. For each test input, we measure the generator’s calibration to human production variability. Following this instance-level approach, we analyse NLG models and decoding strategies, demonstrating that probing a generator with multiple samples and, when possible, multiple references, provides the level of detail necessary to gain understanding of a model’s representation of uncertainty. Code available at https://github.com/dmg-illc/nlg-uncertainty-probes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google