DNB-AI-Project at SemEval-2025 Task 5: An LLM-Ensemble Approach for Automated Subject Indexing

要約

このホワイトペーパーでは、SEMVAL-2025のために開発されたシステムを提示します。タスク5：LLMS4Subjects：LLMベースの自動化されたサブジェクトタグ付けは、国立技術図書館のオープンアクセスカタログです。
私たちのシステムは、知的に注釈されたレコードのさまざまな例を備えたLLMの選択を促し、LLMに同様に新しいレコードのキーワードを示唆するように依頼することに依存しています。
このいくつかのショットプロンプト手法は、生成されたキーワードをターゲットの語彙にマッピングする一連の後処理ステップと組み合わされ、結果の主題用語をアンサンブル投票に集約し、最後に、レコードとの関連性についてランク付けします。
私たちのシステムは、All-Subjectsトラックの定量的ランキングで4番目ですが、被験者インデックスの専門家が実施する定性的ランキングで最良の結果を達成します。

要約(オリジナル)

This paper presents our system developed for the SemEval-2025 Task 5: LLMs4Subjects: LLM-based Automated Subject Tagging for a National Technical Library’s Open-Access Catalog. Our system relies on prompting a selection of LLMs with varying examples of intellectually annotated records and asking the LLMs to similarly suggest keywords for new records. This few-shot prompting technique is combined with a series of post-processing steps that map the generated keywords to the target vocabulary, aggregate the resulting subject terms to an ensemble vote and, finally, rank them as to their relevance to the record. Our system is fourth in the quantitative ranking in the all-subjects track, but achieves the best result in the qualitative ranking conducted by subject indexing experts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google