要約
テキスト生成タスクにおける大規模言語モデル (LLM) の使用が急増するにつれて、学術的な完全性を損なう可能性についての懸念が生じています。
教育業界は現在、生徒が作成した宿題とAIが生成した宿題を区別することに苦心している。
この論文では、AI によって生成された宿題を識別するように設計された HowkGPT を導入することで、この課題に対処します。
HowkGPT は、学業課題と付随するメタデータのデータセット [17] に基づいて構築されており、事前トレーニングされた LLM を採用して、学生が作成した応答と ChatGPT が生成した応答の困惑スコアを計算します。
これらのスコアは、提出された課題の出所を識別するためのしきい値を確立するのに役立ちます。
学術研究の特異性と文脈上の性質を考慮して、HowkGPT はメタデータから導出されたカテゴリ固有のしきい値を定義することで分析をさらに改良し、検出の精度を高めます。
この研究は、LLM の影響力が増大する中、学術的誠実性を維持するための効果的な戦略の重要な必要性を強調し、教育機関における公正かつ正確な成績評価を確保するためのアプローチを提供します。
要約(オリジナル)
As the use of Large Language Models (LLMs) in text generation tasks proliferates, concerns arise over their potential to compromise academic integrity. The education sector currently tussles with distinguishing student-authored homework assignments from AI-generated ones. This paper addresses the challenge by introducing HowkGPT, designed to identify homework assignments generated by AI. HowkGPT is built upon a dataset of academic assignments and accompanying metadata [17] and employs a pretrained LLM to compute perplexity scores for student-authored and ChatGPT-generated responses. These scores then assist in establishing a threshold for discerning the origin of a submitted assignment. Given the specificity and contextual nature of academic work, HowkGPT further refines its analysis by defining category-specific thresholds derived from the metadata, enhancing the precision of the detection. This study emphasizes the critical need for effective strategies to uphold academic integrity amidst the growing influence of LLMs and provides an approach to ensuring fair and accurate grading in educational institutions.
arxiv情報
| 著者 | Christoforos Vasilatos,Manaar Alam,Talal Rahwan,Yasir Zaki,Michail Maniatakos |
| 発行日 | 2023-06-07 11:43:44+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google