Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases

要約

キーフレーズの選択は、幅広い用途を持つ自然言語処理における困難なタスクです。
既存の教師ありおよび教師なしソリューションをロシア語に適応させるには、ロシア語の豊富な形態と利用可能なトレーニング データセットの数が限られているため、いくつかの制限に直面します。
英語のテキストに対して行われた最近の研究では、大規模言語モデル (LLM) がキーフレーズを生成するタスクにうまく対処していることが示されています。
LLM を使用すると、代わりにテキスト プロンプトを使用して、タスク固有の微調整を行わずに優れた結果を達成できます。
この研究では、ロシアの科学要約のキーフレーズを生成するためのプロンプトベースの方法のパフォーマンスにアクセスします。
まず、ゼロショットと少数ショットのプロンプトベースの手法、微調整されたモデル、および教師なし手法のパフォーマンスを比較します。
次に、数ショットの設定でキーフレーズの例を選択するための戦略を評価します。
生成されたキーフレーズを人間が評価した結果を提示し、専門家の評価を通じてモデルの長所と短所を分析します。
私たちの結果は、プロンプトベースの方法は、単純なテキストプロンプトを使用した場合でも、一般的なベースラインよりも優れたパフォーマンスを発揮できることを示唆しています。

要約(オリジナル)

Keyphrase selection is a challenging task in natural language processing that has a wide range of applications. Adapting existing supervised and unsupervised solutions for the Russian language faces several limitations due to the rich morphology of Russian and the limited number of training datasets available. Recent studies conducted on English texts show that large language models (LLMs) successfully address the task of generating keyphrases. LLMs allow achieving impressive results without task-specific fine-tuning, using text prompts instead. In this work, we access the performance of prompt-based methods for generating keyphrases for Russian scientific abstracts. First, we compare the performance of zero-shot and few-shot prompt-based methods, fine-tuned models, and unsupervised methods. Then we assess strategies for selecting keyphrase examples in a few-shot setting. We present the outcomes of human evaluation of the generated keyphrases and analyze the strengths and weaknesses of the models through expert assessment. Our results suggest that prompt-based methods can outperform common baselines even using simple text prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google