MetaKP: On-Demand Keyphrase Generation

要約

従来のキーフレーズ予測手法では、文書ごとに単一のキーフレーズセットを予測するため、ユーザーや下流のアプリケーションの多様なニーズに対応することができない。このギャップを埋めるために、我々はオンデマンド・キーフレーズ生成を導入する。この新しいパラダイムは、特定のハイレベルな目標や意図に適合するキーフレーズを必要とする。このタスクのために、我々はMetaKPを提示する。MetaKPは、4つのデータセット、7500の文書、3760のゴールから構成される大規模なベンチマークであり、ニュースや生物医学のドメインにまたがり、人間が注釈を付けたキーフレーズを持つ。MetaKPを活用し、マルチタスク微調整アプローチや大規模言語モデルを用いた自己無撞着プロンプト手法など、教師あり・教師なしの両方の手法を設計する。その結果、教師ありファインチューニングの課題が浮き彫りになった。対照的に、提案する自己無撞着プロンプト法は大規模言語モデルの性能を大幅に向上させ、GPT-4oは0.548 SemF1を達成し、完全に微調整されたBARTベースモデルの性能を凌駕した。最後に、ソーシャルメディアからの流行イベント検出への応用に代表されるように、本手法が一般的な自然言語処理基盤として機能する可能性を示す。

要約(オリジナル)

Traditional keyphrase prediction methods predict a single set of keyphrases per document, failing to cater to the diverse needs of users and downstream applications. To bridge the gap, we introduce on-demand keyphrase generation, a novel paradigm that requires keyphrases that conform to specific high-level goals or intents. For this task, we present MetaKP, a large-scale benchmark comprising four datasets, 7500 documents, and 3760 goals across news and biomedical domains with human-annotated keyphrases. Leveraging MetaKP, we design both supervised and unsupervised methods, including a multi-task fine-tuning approach and a self-consistency prompting method with large language models. The results highlight the challenges of supervised fine-tuning, whose performance is not robust to distribution shifts. By contrast, the proposed self-consistency prompting approach greatly improves the performance of large language models, enabling GPT-4o to achieve 0.548 SemF1, surpassing the performance of a fully fine-tuned BART-base model. Finally, we demonstrate the potential of our method to serve as a general NLP infrastructure, exemplified by its application in epidemic event detection from social media.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL