A Multi-Stage Framework with Taxonomy-Guided Reasoning for Occupation Classification Using Large Language Models

要約

職業分類として知られる分類術からの標準化された職業とのジョブデータを自動的に注釈することは、労働市場分析にとって重要です。
ただし、このタスクは、データ不足と手動注釈の課題によってしばしば妨げられます。
大規模な言語モデル（LLMS）は、広範な世界知識とコンテキスト学習能力のために有望ですが、その有効性は職業分類学の知識に依存していますが、それは不明のままです。
この研究では、LLMSが分類から正確な分類学的エンティティを生成する能力を評価し、それらの制限を強調します。
これらの課題に対処するために、推論、検索、および再ランキングの段階で構成される多段階のフレームワークを提案します。これは、アウトプットを分類学的知識に合わせることでパフォーマンスを向上させるための分類学的推論の例を統合します。
大規模なデータセットの評価では、分類の精度が大幅に改善されています。
さらに、マルチラベルスキル分類に対するフレームワークの適応性を示します。
我々の結果は、フレームワークが既存のLLMベースの方法を上回り、LLM全体で職業分類と関連するタスクのための実用的でスケーラブルなソリューションを提供することを示しています。

要約(オリジナル)

Automatically annotating job data with standardized occupations from taxonomies, known as occupation classification, is crucial for labor market analysis. However, this task is often hindered by data scarcity and the challenges of manual annotations. While large language models (LLMs) hold promise due to their extensive world knowledge and in-context learning capabilities, their effectiveness depends on their knowledge of occupational taxonomies, which remains unclear. In this study, we assess the ability of LLMs to generate precise taxonomic entities from taxonomy, highlighting their limitations. To address these challenges, we propose a multi-stage framework consisting of inference, retrieval, and reranking stages, which integrates taxonomy-guided reasoning examples to enhance performance by aligning outputs with taxonomic knowledge. Evaluations on a large-scale dataset show significant improvements in classification accuracy. Furthermore, we demonstrate the framework’s adaptability for multi-label skill classification. Our results indicate that the framework outperforms existing LLM-based methods, offering a practical and scalable solution for occupation classification and related tasks across LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google