要約
ChatGPT の出現は、最近、計算言語学コミュニティから大きな注目を集めています。
キーフレーズ ジェネレーターとしての機能を実証するために、キーフレーズ生成タスクの ChatGPT の予備評価を行います。
キーフレーズ生成プロンプト、キーフレーズ生成の多様性、マルチドメイン キーフレーズ生成、長いドキュメントの理解など、さまざまな側面でそのパフォーマンスを評価します。
私たちの評価は 6 つのベンチマーク データセットに基づいており、OpenAI によって提案されたプロンプトを採用し、それを 6 つの候補プロンプトに拡張します。
ChatGPT は 6 つの候補プロンプトすべてで非常に優れたパフォーマンスを発揮し、データセット全体でわずかなパフォーマンスの違いが見られることがわかりました。
私たちの調査結果に基づいて、ChatGPT にはキーフレーズ生成の大きな可能性があると結論付けています。
さらに、存在しないキーフレーズの生成に関しては、ChatGPT が依然として課題に直面していることを発見しました。
一方、最後のセクションでは、このレポートのいくつかの制限と将来の拡張についても説明します。
要約(オリジナル)
The emergence of ChatGPT has recently garnered significant attention from the computational linguistics community. To demonstrate its capabilities as a keyphrase generator, we conduct a preliminary evaluation of ChatGPT for the keyphrase generation task. We evaluate its performance in various aspects, including keyphrase generation prompts, keyphrase generation diversity, multi-domain keyphrase generation, and long document understanding. Our evaluation is based on six benchmark datasets, and we adopt the prompt suggested by OpenAI while extending it to six candidate prompts. We find that ChatGPT performs exceptionally well on all six candidate prompts, with minor performance differences observed across the datasets. Based on our findings, we conclude that ChatGPT has great potential for keyphrase generation. Moreover, we discover that ChatGPT still faces challenges when it comes to generating absent keyphrases. Meanwhile, in the final section, we also present some limitations and future expansions of this report.
arxiv情報
| 著者 | Mingyang Song,Haiyun Jiang,Shuming Shi,Songfang Yao,Shilong Lu,Yi Feng,Huafeng Liu,Liping Jing |
| 発行日 | 2023-03-23 02:50:38+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google