Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: A Preliminary Empirical Study

要約

タイトル: 大規模言語モデルを用いた文書評価におけるリファレンスフリー手法の検討：予備的実験研究

要約:
– 自然言語処理において、生成されたテキストに対する評価は困難な課題である。
– テキストの複雑さと多様性から生じる。
– OpenAIのChatGPTという強力な大規模言語モデル（LLM）は、様々なタスクにおいて驚異的なパフォーマンスを発揮し、注目を集めている。
– 本報告書では、特にChatGPTを用いたLLMの効果的な評価方法を調査し、テキストの品質を評価する際の最適な方法を探究することを提案する。
– ChatGPTを利用した3種類のリファレンスフリー評価手法を比較し、その結果、既存の自動評価指標よりも優れた性能を持つことを実証した。
– 特に、ChatGPTを使用してテキスト品質を測定する数値スコアを生成するExplicit Scoreが、最も効果的で信頼性の高い方法であることが示された。
– ただし、ChatGPTを使用して2つのテキストの品質を直接比較することは、最適な結果にはならないことに注意が必要である。
– この報告書が、ChatGPTなどのLLMを使用したテキスト品質の評価に適した方法を選択するための貴重な知見を提供することを期待する。

要約(オリジナル)

Evaluating the quality of generated text is a challenging task in natural language processing. This difficulty arises from the inherent complexity and diversity of text. Recently, OpenAI’s ChatGPT, a powerful large language model (LLM), has garnered significant attention due to its impressive performance in various tasks. Therefore, we present this report to investigate the effectiveness of LLMs, especially ChatGPT, and explore ways to optimize their use in assessing text quality. We compared three kinds of reference-free evaluation methods based on ChatGPT or similar LLMs. The experimental results prove that ChatGPT is capable to evaluate text quality effectively from various perspectives without reference and demonstrates superior performance than most existing automatic metrics. In particular, the Explicit Score, which utilizes ChatGPT to generate a numeric score measuring text quality, is the most effective and reliable method among the three exploited approaches. However, directly comparing the quality of two texts using ChatGPT may lead to suboptimal results. We hope this report will provide valuable insights into selecting appropriate methods for evaluating text quality with LLMs such as ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI