FACE: Evaluating Natural Language Generation with Fourier Analysis of Cross-Entropy

要約

機械が生成した言語と人間の言語との間の距離を測定することは、重大な未解決の問題です。
言語のエントロピーの周期性に関する心理言語学の経験的発見に触発され、モデル生成言語と人間が書いた言語の類似性を測定するための、言語の推定クロスエントロピーのフーリエ解析に基づく一連の指標である FACE を提案します。
オープンエンド生成タスクと以前の研究の実験データに基づいて、FACE が人間とモデルのギャップを効果的に特定でき、モデルのサイズに応じてスケールし、デコードのためのさまざまなサンプリング方法の結果を反映し、他の評価指標とよく相関することがわかりました。
そして人間の判断スコアも付いています。

要約(オリジナル)

Measuring the distance between machine-produced and human language is a critical open problem. Inspired by empirical findings from psycholinguistics on the periodicity of entropy in language, we propose FACE, a set of metrics based on Fourier Analysis of the estimated Cross-Entropy of language, for measuring the similarity between model-generated and human-written languages. Based on an open-ended generation task and the experimental data from previous studies, we find that FACE can effectively identify the human-model gap, scales with model size, reflects the outcomes of different sampling methods for decoding, correlates well with other evaluation metrics and with human judgment scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google