On the Generalization of Training-based ChatGPT Detection Methods

要約

ChatGPTは、様々な自然言語タスクで驚異的なパフォーマンスを達成する最も人気のある言語モデルの一つです。その結果、ChatGPTで生成されたテキストを人間が書いたものから検出することも急務となっています。広く研究されている方法の1つは、両者を区別するために分類モデルを訓練することです。しかし、既存の研究では、学習したモデルが（テスト中に）分布のシフトに悩まされる可能性があること、すなわち、未知の言語タスクやトピックから生成されたテキストを予測するのに有効でないことも示されている。本研究では、プロンプト、テキストの長さ、トピック、言語タスクなど、様々な要因による分布シフトの下で、これらの手法の汎化動作を包括的に調査することを目的とする。この目標を達成するために、我々はまず人間とChatGPTのテキストからなる新しいデータセットを収集し、収集したデータセットに対して広範な研究を行う。私たちの研究は、ChatGPT検出のための将来の方法論やデータ収集戦略を開発するためのガイダンスを提供する洞察に満ちた発見を明らかにした。

要約(オリジナル)

ChatGPT is one of the most popular language models which achieve amazing performance on various natural language tasks. Consequently, there is also an urgent need to detect the texts generated ChatGPT from human written. One of the extensively studied methods trains classification models to distinguish both. However, existing studies also demonstrate that the trained models may suffer from distribution shifts (during test), i.e., they are ineffective to predict the generated texts from unseen language tasks or topics. In this work, we aim to have a comprehensive investigation on these methods’ generalization behaviors under distribution shift caused by a wide range of factors, including prompts, text lengths, topics, and language tasks. To achieve this goal, we first collect a new dataset with human and ChatGPT texts, and then we conduct extensive studies on the collected dataset. Our studies unveil insightful findings which provide guidance for developing future methodologies or data collection strategies for ChatGPT detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL