Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study

要約

ゼロショット キーフレーズ抽出は、人間が注釈を付けたデータによるトレーニングを行わずにキーフレーズ抽出器を構築することを目的としていますが、人間の介入が限られているため、これは困難です。
挑戦的ではありますが、価値のあるゼロショット設定により、データのラベル付けにかかる時間と労力が効率的に削減されます。
事前トレーニングされた大規模言語モデル (ChatGPT や ChatGLM など) に関する最近の取り組みでは、ゼロショット設定で有望なパフォーマンスが示されているため、プロンプトベースの方法を探求するきっかけとなっています。
この論文では、大規模言語モデル ChatGPT を直接プロンプトすることによって強力なキーフレーズ抽出モデルを構築できるかどうかを検討します。
実験結果を通じて、既存の最先端の教師なしモデルおよび教師ありモデルと比較して、ChatGPT にはキーフレーズ抽出タスクにおいてまだ多くの改善の余地があることがわかりました。

要約(オリジナル)

Zero-shot keyphrase extraction aims to build a keyphrase extractor without training by human-annotated data, which is challenging due to the limited human intervention involved. Challenging but worthwhile, zero-shot setting efficiently reduces the time and effort that data labeling takes. Recent efforts on pre-trained large language models (e.g., ChatGPT and ChatGLM) show promising performance on zero-shot settings, thus inspiring us to explore prompt-based methods. In this paper, we ask whether strong keyphrase extraction models can be constructed by directly prompting the large language model ChatGPT. Through experimental results, it is found that ChatGPT still has a lot of room for improvement in the keyphrase extraction task compared to existing state-of-the-art unsupervised and supervised models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google