Enhancing Robustness of LLM-Synthetic Text Detectors for Academic Writing: A Comprehensive Analysis

要約

ChatGPT で使用される Generative Pre-trained Transformer 4 (GPT-4) などの大規模言語モデル (LLM) の出現は、学術界およびより広範なコミュニティに大きな影響を与えました。
これらのモデルは、仕事や勉強の方法に革命をもたらすという点で多くの利点をもたらしますが、潜在的なマイナスの影響もあり、大きな注目を集めています。
一例としては、人間の貢献がほとんど、またはまったくない学術レポートや論文の作成が挙げられます。
そのため、研究者は LLM の悪用に対処する検出器の開発に重点を置いています。
しかし、既存の手法のほとんどは、制限されたデータセットでより高い精度を達成することを優先しており、一般化可能性という重要な側面を無視しています。
この制限により、信頼性が最優先される現実のシナリオでの実際の適用が妨げられます。
この論文では、LLM によって生成されたテキストに対するプロンプトの影響に関する包括的な分析を示し、現在の最先端の GPT 検出器の 1 つには堅牢性が欠けている可能性があることを強調します。
学術論文における LLM の誤用に関するこれらの問題を軽減するために、我々は、一方を調査文とし、他方を参考文献として一対のテキストを取得する、Synthetic-Siamese という名前の参考文献ベースのシャム検出器を提案します。
私たちの方法は、以前の検出器 (OpenAI 検出器と DetectGPT) の堅牢性の欠如に効果的に対処し、現実的な学術論文作成シナリオにおけるベースライン パフォーマンスを約 67% ～ 95% 大幅に向上させます。

要約(オリジナル)

The emergence of large language models (LLMs), such as Generative Pre-trained Transformer 4 (GPT-4) used by ChatGPT, has profoundly impacted the academic and broader community. While these models offer numerous advantages in terms of revolutionizing work and study methods, they have also garnered significant attention due to their potential negative consequences. One example is generating academic reports or papers with little to no human contribution. Consequently, researchers have focused on developing detectors to address the misuse of LLMs. However, most existing methods prioritize achieving higher accuracy on restricted datasets, neglecting the crucial aspect of generalizability. This limitation hinders their practical application in real-life scenarios where reliability is paramount. In this paper, we present a comprehensive analysis of the impact of prompts on the text generated by LLMs and highlight the potential lack of robustness in one of the current state-of-the-art GPT detectors. To mitigate these issues concerning the misuse of LLMs in academic writing, we propose a reference-based Siamese detector named Synthetic-Siamese which takes a pair of texts, one as the inquiry and the other as the reference. Our method effectively addresses the lack of robustness of previous detectors (OpenAI detector and DetectGPT) and significantly improves the baseline performances in realistic academic writing scenarios by approximately 67% to 95%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google