Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors

要約

自然言語生成 (NLG) テクノロジーの潜在的な悪用に対抗するために、AI によって生成されたテキストを検出するためのさまざまなアルゴリズムが開発されています。
従来、このタスクは二項分類問題として扱われてきました。
教師あり学習は有望な結果を示していますが、検出目的でラベル付きデータを取得することは現実世界の課題と過剰学習のリスクを引き起こします。
これらの問題に対処するために、私たちはゼロショットの機械生成テキスト検出の領域を掘り下げました。
既存のゼロショット検出器は、通常、特定のタスクやトピック向けに設計されており、画一的なテスト シナリオを想定していることが多く、実用性が制限されています。
私たちの研究では、さまざまな高度な大規模言語モデル (LLM) とその特殊なバリアントを調査し、さまざまな方法でこの分野に貢献しています。
実証研究では、トピックと検出パフォーマンスの間に重要な相関関係があることが判明しました。
次に、ゼロショット検出器に対するトピックの変化の影響を詳しく調べます。
これらの調査により、さまざまなトピックにわたるこれらの検出方法の適応性と堅牢性が明らかになりました。

要約(オリジナル)

To combat the potential misuse of Natural Language Generation (NLG) technology, a variety of algorithms have been developed for the detection of AI-generated texts. Traditionally, this task is treated as a binary classification problem. Although supervised learning has demonstrated promising results, acquiring labeled data for detection purposes poses real-world challenges and the risk of overfitting. In an effort to address these issues, we delve into the realm of zero-shot machine-generated text detection. Existing zero-shot detectors, typically designed for specific tasks or topics, often assume uniform testing scenarios, limiting their practicality. In our research, we explore various advanced Large Language Models (LLMs) and their specialized variants, contributing to this field in several ways. In empirical studies, we uncover a significant correlation between topics and detection performance. Secondly, we delve into the influence of topic shifts on zero-shot detectors. These investigations shed light on the adaptability and robustness of these detection methods across diverse topics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google