Detecting LLM-Assisted Writing in Scientific Communication: Are We There Yet?

要約

ChatGPTに代表される大規模言語モデル(LLM)は、特にライティング支援の領域において、テキスト生成の形を大きく変えてきた。倫理的な配慮から、特に科学的なコミュニケーションにおいては、LLMの利用を明確に認めることの重要性が強調されているが、LLMの利用を正当に認めることはまだまれである。LLMを使用したライティングの正確な認知を促すための潜在的な方法として、自動検出器の採用が挙げられる。4つの最先端のLLM生成テキスト検出器を評価したところ、LLMが普及した頃に突然起こった文体の変化を識別するために設計された単純なアドホック検出器と比較して、その性能が最適でないことが明らかになった。我々は、LLMによる文体変化に特化した検出器の開発が必要であると主張する。このような検出器は、LLMが科学的コミュニケーションに関与していることをより正しく認識し、謝辞の慣行における現在の課題に対処する上で、重要な役割を果たす可能性がある。

要約(オリジナル)

Large Language Models (LLMs), exemplified by ChatGPT, have significantly reshaped text generation, particularly in the realm of writing assistance. While ethical considerations underscore the importance of transparently acknowledging LLM use, especially in scientific communication, genuine acknowledgment remains infrequent. A potential avenue to encourage accurate acknowledging of LLM-assisted writing involves employing automated detectors. Our evaluation of four cutting-edge LLM-generated text detectors reveals their suboptimal performance compared to a simple ad-hoc detector designed to identify abrupt writing style changes around the time of LLM proliferation. We contend that the development of specialized detectors exclusively dedicated to LLM-assisted writing detection is necessary. Such detectors could play a crucial role in fostering more authentic recognition of LLM involvement in scientific communication, addressing the current challenges in acknowledgment practices.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL