SemEval-2025 Task 5: LLMs4Subjects — LLM-based Automated Subject Tagging for a National Technical Library’s Open-Access Catalog

要約

GND分類法を使用して、英語とドイツ語の科学的およびドイツ語の科学的および技術記録の自動化されたサブジェクトタグ付けの共有タスクであるLLMS4Subjectsは、SEMVAL-2025タスク5：LLMS4Subjectsを提示します。
参加者は、定量的メトリック（精度、リコール、F1スコア）および被験者の専門家による定性的評価を通じて評価されるTOP-K被験者を推奨するLLMベースのシステムを開発しました。
結果は、LLMアンサンブル、合成データ生成、多言語処理の有効性を強調し、デジタルライブラリ分類にLLMを適用する洞察を提供します。

要約(オリジナル)

We present SemEval-2025 Task 5: LLMs4Subjects, a shared task on automated subject tagging for scientific and technical records in English and German using the GND taxonomy. Participants developed LLM-based systems to recommend top-k subjects, evaluated through quantitative metrics (precision, recall, F1-score) and qualitative assessments by subject specialists. Results highlight the effectiveness of LLM ensembles, synthetic data generation, and multilingual processing, offering insights into applying LLMs for digital library classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google