A statistically consistent measure of Semantic Variability using Language Models

要約

言語モデルによって生成される出力の変動性の問題に対処するために、軽度の仮定の下で統計的に一貫しているセマンティック変動の尺度を提示します。
セマンティックスペクトルエントロピーとして示されるこの尺度は、棚言語モデルのすぐそばに必要な簡単に実装できるアルゴリズムです。
言語モデルにはほとんど制限がありません。明確なシミュレーション研究では、言語モデルから生じるランダム性にもかかわらず、そのような方法が正確なメトリックを生成できることを示しました。

要約(オリジナル)

To address the issue of variability in the output generated by a language model, we present a measure of semantic variability that is statistically consistent under mild assumptions. This measure, denoted as semantic spectral entropy, is a easy to implement algorithm that requires just off the shelf language models. We put very few restrictions on the language models and we have shown in a clear simulation studies that such method can generate accurate metric despite randomness that arise from the language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google