Multi-Faceted Question Complexity Estimation Targeting Topic Domain-Specificity

要約

問題の難易度の推定は、教育および評価の現場において依然として多面的な課題です。
従来のアプローチは、表面レベルの言語的特徴や学習者の理解レベルに焦点を当て、質問の複雑さに寄与する要因の複雑な相互作用を無視することがよくありました。
この論文では、一連の NLP 手法とナレッジ グラフ分析を活用した、ドメイン固有の問題の難易度を推定するための新しいフレームワークを紹介します。
トピック検索コスト、トピックの顕著性、トピックの一貫性、およびトピックの表層性という 4 つの重要なパラメーターを導入します。それぞれが、特定の主題ドメイン内の質問の複雑さの異なる側面を捉えます。
これらのパラメータは、トピック モデリング、ナレッジ グラフ分析、および情報検索技術を通じて操作可能です。
これらの特徴に基づいてトレーニングされたモデルは、質問の難易度を予測する際のアプローチの有効性を示しています。
これらのパラメーターを操作することで、私たちのフレームワークは質問の複雑さの推定に対する新しいアプローチを提供し、さまざまな学術分野にわたってより効果的な質問の生成、評価設計、適応学習システムへの道を開きます。

要約(オリジナル)

Question difficulty estimation remains a multifaceted challenge in educational and assessment settings. Traditional approaches often focus on surface-level linguistic features or learner comprehension levels, neglecting the intricate interplay of factors contributing to question complexity. This paper presents a novel framework for domain-specific question difficulty estimation, leveraging a suite of NLP techniques and knowledge graph analysis. We introduce four key parameters: Topic Retrieval Cost, Topic Salience, Topic Coherence, and Topic Superficiality, each capturing a distinct facet of question complexity within a given subject domain. These parameters are operationalized through topic modelling, knowledge graph analysis, and information retrieval techniques. A model trained on these features demonstrates the efficacy of our approach in predicting question difficulty. By operationalizing these parameters, our framework offers a novel approach to question complexity estimation, paving the way for more effective question generation, assessment design, and adaptive learning systems across diverse academic disciplines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google