要約
機械が生成した言語と人間の言語との間の距離を測定することは、深刻な未解決の問題です。
言語におけるエントロピーの周期性に関する心理言語学の経験的発見に触発され、モデル生成言語と人間が書いた言語の間の類似性を測定するための、推定された言語のクロスエントロピーのフーリエ解析に基づく一連の指標である FACE を提案します。
オープンエンド生成タスクと以前の研究の実験データに基づいて、FACE は人間とモデルのギャップを効果的に特定し、モデルサイズに応じて拡張し、デコードのためのさまざまなサンプリング方法の結果を反映し、他の評価指標や人間の判断と十分に相関することができます。
得点。
FACE は計算効率が高く、直感的な解釈を提供します。
要約(オリジナル)
Measuring the distance between machine-produced and human language is acritical open problem. Inspired by empirical findings from psycholinguistics on theperiodicity of entropy in language, we propose FACE, a set of metrics based onFourier Analysis of the estimated Cross-Entropy of language, for measuring thesimilarity between model-generated and human-written languages. Based on anopen-ended generation task and the experimental data from previous studies, weind that FACE can effectively identify the human-model gap, scales with modelsize, reflects the outcomes of different sampling methods for decoding, correlateswell with other evaluation metrics and with human judgment scores. FACE iscomputationally efficient and provides intuitive interpretations.
arxiv情報
| 著者 | Zuhao Yang,Yingfang Yuan,Yang Xu,Shuo Zhan,Huajun Bai,Kefan Chen |
| 発行日 | 2023-05-17 15:44:57+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google