Leveraging Label Semantics and Meta-Label Refinement for Multi-Label Question Classification

要約

教育リソースの正確な注釈は、オンライン教育における効果的なパーソナライズされた学習とリソースの推奨には重要です。
ただし、きめの細かい知識ラベルは、多くの場合、類似点を重ねたり共有したりすることが多いため、既存のマルチラベル分類方法がそれらを区別することが困難になります。
人間の注釈のスパース性によるラベル分布の不均衡は、これらの課題をさらに強化します。
これらの問題に対処するために、このホワイトペーパーでは、ラベルセマンティクスとメタラベルの洗練を活用することにより、マルチラベル質問分類を行うための新しい検索再ランキング方法であるRR2QCを紹介します。
まず、RR2QCは、ラベルグループ内およびラベルグループ間でセマンティックな関係を利用することにより、トレーニング前の戦略を改善します。
第二に、ダウンストリームトレーニング中に質問をラベルセマンティクスに合わせてクラスセンター学習タスクを導入します。
最後に、この方法はラベルをメタラベルに分解し、メタラベル分類器を使用して検索されたラベルシーケンスを再表示します。
そうすることで、RR2QCは、他のラベルに頻繁に登場するメタラベルから学習することにより、長期尾のラベルの理解と予測能力を高めます。
さらに、数学的なLLMを使用して、質問のソリューションを生成し、潜在的な情報を抽出してモデルの洞察をさらに改善します。
実験結果は、RR2QCが複数の教育データセットにわたって精度@KおよびF1スコアで既存の方法を上回り、オンライン教育アプリケーションの有効性を示していることを示しています。
コードとデータセットは、https：//github.com/78erii/rr2qcで入手できます。

要約(オリジナル)

Accurate annotation of educational resources is crucial for effective personalized learning and resource recommendation in online education. However, fine-grained knowledge labels often overlap or share similarities, making it difficult for existing multi-label classification methods to differentiate them. The label distribution imbalance due to sparsity of human annotations further intensifies these challenges. To address these issues, this paper introduces RR2QC, a novel Retrieval Reranking method to multi-label Question Classification by leveraging label semantics and meta-label refinement. First, RR2QC improves the pre-training strategy by utilizing semantic relationships within and across label groups. Second, it introduces a class center learning task to align questions with label semantics during downstream training. Finally, this method decomposes labels into meta-labels and uses a meta-label classifier to rerank the retrieved label sequences. In doing so, RR2QC enhances the understanding and prediction capability of long-tail labels by learning from meta-labels that frequently appear in other labels. Additionally, a mathematical LLM is used to generate solutions for questions, extracting latent information to further refine the model’s insights. Experimental results show that RR2QC outperforms existing methods in Precision@K and F1 scores across multiple educational datasets, demonstrating its effectiveness for online education applications. The code and datasets are available at https://github.com/78Erii/RR2QC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google