Keystroke Dynamics Against Academic Dishonesty in the Age of LLMs

要約

オンライン試験や課題への移行により、学問の誠実さについて大きな懸念が生じています。
従来の盗作検出システムは、特に学生が高度な生成 AI ツールを利用して応答を作成する場合に、インテリジェントな不正行為の事例を特定するのに苦労することがよくあります。
この研究は、学術的な文脈において本物のライティングと補助的なライティングを区別するためのキーストロークダイナミクスに基づく方法を提案します。
これを促進するために、生成 AI の支援の有無にかかわらず、執筆タスクに従事する個人のキーストローク パターンをキャプチャするデータセットが開発されました。
修正された TypeNet アーキテクチャを使用してトレーニングされた検出器は、条件固有のシナリオでは 74.98% ～ 85.72%、条件に依存しないシナリオでは 52.24% ～ 80.54% の精度を達成しました。
この調査結果は、本物の筆記と補助筆記の間のキーストロークのダイナミクスの大きな違いを浮き彫りにしています。
この研究の結果は、ユーザーが生成型 AI とどのように対話するかについての理解を深め、デジタル教育プラットフォームの信頼性向上に影響を与えます。

要約(オリジナル)

The transition to online examinations and assignments raises significant concerns about academic integrity. Traditional plagiarism detection systems often struggle to identify instances of intelligent cheating, particularly when students utilize advanced generative AI tools to craft their responses. This study proposes a keystroke dynamics-based method to differentiate between bona fide and assisted writing within academic contexts. To facilitate this, a dataset was developed to capture the keystroke patterns of individuals engaged in writing tasks, both with and without the assistance of generative AI. The detector, trained using a modified TypeNet architecture, achieved accuracies ranging from 74.98% to 85.72% in condition-specific scenarios and from 52.24% to 80.54% in condition-agnostic scenarios. The findings highlight significant differences in keystroke dynamics between genuine and assisted writing. The outcomes of this study enhance our understanding of how users interact with generative AI and have implications for improving the reliability of digital educational platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google