Quantifying the Effectiveness of Student Organization Activities using Natural Language Processing

要約

学生の課外活動は、学生の教育経験を豊かにする上で重要な役割を果たします。
機械学習と自然言語処理の人気が高まるにつれ、課外活動の改善に ML-NLP を組み込むことが人工知能 (AI) の研究の潜在的な焦点となるのは当然のステップとなっています。
この調査研究は、感情分析を使用して生徒の感情的反応に基づいて生徒が組織した活動の有効性を定量化する機械学習ワークフローを開発することを目的としています。
この研究では、Hugging Face の Transformer パイプラインとして、pysentimiento ツールキットを介して呼び出される Bidirectional Encoder Representations from Transformers (BERT) Large Language Model (LLM) を使用します。
ワークフローの開発には、フィリピンの高等教育機関であるカレッジ X の認定学生組織 (RSO) である組織 C からのサンプル データ セットが使用されました。
ワークフローは、データの前処理、主要な特徴の選択、LLM 特徴の処理、およびスコア集計で構成され、各データ セットのイベント スコアが得られました。
結果は、BERT LLM が製品レビューや投稿コメント以外の感情分析にも効果的に使用できることを示しています。
教育機関の学生事務局にとって、この研究は、NLP を現実世界のシナリオにどのように適用できるかの実例を提供し、データ駆動型の意思決定の潜在的な影響を示すことができます。

要約(オリジナル)

Student extracurricular activities play an important role in enriching the students’ educational experiences. With the increasing popularity of Machine Learning and Natural Language Processing, it becomes a logical step that incorporating ML-NLP in improving extracurricular activities is a potential focus of study in Artificial Intelligence (AI). This research study aims to develop a machine learning workflow that will quantify the effectiveness of student-organized activities based on student emotional responses using sentiment analysis. The study uses the Bidirectional Encoder Representations from Transformers (BERT) Large Language Model (LLM) called via the pysentimiento toolkit, as a Transformer pipeline in Hugging Face. A sample data set from Organization C, a Recognized Student Organization (RSO) of a higher educational institute in the Philippines, College X, was used to develop the workflow. The workflow consisted of data preprocessing, key feature selection, LLM feature processing, and score aggregation, resulting in an Event Score for each data set. The results show that the BERT LLM can also be used effectively in analyzing sentiment beyond product reviews and post comments. For the student affairs offices of educational institutions, this study can provide a practical example of how NLP can be applied to real-world scenarios, showcasing the potential impact of data-driven decision making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google