Deep Learning for Opinion Mining and Topic Classification of Course Reviews

要約

コースに対する学生の意見は、コースや教育機関の種類に関係なく、教育者や管理者にとって重要です。
機関レベルやオンライン フォーラムでの大量のコメントに対して、自由形式のフィードバックを読んで手動で分析することは不可能になります。
この論文では、オンラインで公開されている多数のコース レビューを収集し、前処理しました。
私たちは、学生の感情やトピックについての洞察を得るという目的で機械学習技術を適用しました。
具体的には、単語埋め込みやディープ ニューラル ネットワークなどの現在の自然言語処理 (NLP) 技術と、最先端の BERT (トランスフォーマーからの双方向エンコーダー表現)、RoBERTa (堅牢に最適化された BERT アプローチ)、および XLNet (一般化された) を利用しました。
自動回帰事前トレーニング)。
私たちはこれらの技術と従来のアプローチを比較するために広範な実験を実施しました。
この比較研究では、コースのフィードバックを利用した感情極性抽出とトピックベースの分類に最新の機械学習アプローチを適用する方法を示します。
センチメント極性では、精度 95.5%、F1 マクロ 84.7% の RoBERTa がトップ モデルでしたが、トピック分類では、精度 79.8%、F1 マクロ 80.6% で SVM (サポート ベクター マシン) がトップの分類器でした。
また、特定のハイパーパラメーターがモデルのパフォーマンスに及ぼす影響についても詳細に調査し、観察結果について説明しました。
これらの調査結果は、教育機関やコース提供者が、自己評価と改善に向けて NLP モデルを使用して自身のコースのフィードバックを分析するためのガイドとして使用できます。

要約(オリジナル)

Student opinions for a course are important to educators and administrators, regardless of the type of the course or the institution. Reading and manually analyzing open-ended feedback becomes infeasible for massive volumes of comments at institution level or online forums. In this paper, we collected and pre-processed a large number of course reviews publicly available online. We applied machine learning techniques with the goal to gain insight into student sentiments and topics. Specifically, we utilized current Natural Language Processing (NLP) techniques, such as word embeddings and deep neural networks, and state-of-the-art BERT (Bidirectional Encoder Representations from Transformers), RoBERTa (Robustly optimized BERT approach) and XLNet (Generalized Auto-regression Pre-training). We performed extensive experimentation to compare these techniques versus traditional approaches. This comparative study demonstrates how to apply modern machine learning approaches for sentiment polarity extraction and topic-based classification utilizing course feedback. For sentiment polarity, the top model was RoBERTa with 95.5% accuracy and 84.7% F1-macro, while for topic classification, an SVM (Support Vector Machine) was the top classifier with 79.8% accuracy and 80.6% F1-macro. We also provided an in-depth exploration of the effect of certain hyperparameters on the model performance and discussed our observations. These findings can be used by institutions and course providers as a guide for analyzing their own course feedback using NLP models towards self-evaluation and improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google