ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task

要約

ChatGPT を含むトランスフォーマーベースの言語モデルは、さまざまな自然言語生成タスクにおいて優れたパフォーマンスを実証しています。
ただし、文書の内容を正確に反映する有益なフレーズを特定することを含む、ChatGPT のキーフレーズ生成機能を評価する研究は限られています。
この研究では、ChatGPT のキーフレーズ生成パフォーマンスを最先端のモデルと比較することで、このギャップに対処するとともに、ドメイン適応と長い文書からのキーフレーズ生成という、この分野における 2 つの重要な課題に対する解決策としての可能性をテストします。
私たちは科学記事とニュース分野からの 6 つの公開されているデータセットに対して実験を実施し、短い文書と長い文書の両方でパフォーマンスを分析しました。
私たちの結果は、ChatGPT が、テストされたすべてのデータセットと環境において現在の最先端のモデルよりも優れたパフォーマンスを示し、さまざまなドメインと文書の長さによく適応する高品質のキーフレーズを生成することを示しています。

要約(オリジナル)

Transformer-based language models, including ChatGPT, have demonstrated exceptional performance in various natural language generation tasks. However, there has been limited research evaluating ChatGPT’s keyphrase generation ability, which involves identifying informative phrases that accurately reflect a document’s content. This study seeks to address this gap by comparing ChatGPT’s keyphrase generation performance with state-of-the-art models, while also testing its potential as a solution for two significant challenges in the field: domain adaptation and keyphrase generation from long documents. We conducted experiments on six publicly available datasets from scientific articles and news domains, analyzing performance on both short and long documents. Our results show that ChatGPT outperforms current state-of-the-art models in all tested datasets and environments, generating high-quality keyphrases that adapt well to diverse domains and document lengths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google