DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning

要約

AI によって生成されたテキストを検出するための現在の技術は、主に手動による特徴作成と教師付きバイナリ分類パラダイムに限定されています。
これらの方法論は通常、パフォーマンスのボトルネックと不十分な汎用性を引き起こします。
したがって、これらの方法は、配布外 (OOD) データや新しく出現した大規模言語モデル (LLM) には適用できないことがよくあります。
このペーパーでは、AI によって生成されたテキスト検出のタスクを再検討します。
この課題を達成する鍵は、単にテキストを人間が書いたテキストか AI が生成したテキストに分類するのではなく、さまざまな著者の文体を区別することにあると私たちは主張します。
この目的を達成するために、マルチタスク補助、マルチレベル対比学習フレームワークである DeTeCtive を提案します。
DeTeCtive は、AI 生成のテキスト検出のための高密度情報検索パイプラインと組み合わせて、独特の書き方の学習を促進するように設計されています。
私たちの方法は、さまざまなテキスト エンコーダーと互換性があります。
広範な実験により、私たちの方法が、複数のベンチマークにわたって AI によって生成されたテキストを検出する際のさまざまなテキスト エンコーダーの能力が強化され、最先端の結果が得られることが実証されました。
特に、OOD ゼロショット評価では、私たちの方法は既存のアプローチを大幅に上回っています。
さらに、私たちの手法は OOD データに対するトレーニング不要の増分適応 (TFIA) 機能を備えており、OOD 検出シナリオでの有効性がさらに向上していることがわかりました。
私たちは、私たちの取り組みが AI 生成テキスト検出の分野で新たな考えを呼び起こし、LLM の安全な適用を確保し、コンプライアンスを強化することを期待して、コードとモデルをオープンソース化します。
私たちのコードは https://github.com/heyongxin233/DeTeCtive で入手できます。

要約(オリジナル)

Current techniques for detecting AI-generated text are largely confined to manual feature crafting and supervised binary classification paradigms. These methodologies typically lead to performance bottlenecks and unsatisfactory generalizability. Consequently, these methods are often inapplicable for out-of-distribution (OOD) data and newly emerged large language models (LLMs). In this paper, we revisit the task of AI-generated text detection. We argue that the key to accomplishing this task lies in distinguishing writing styles of different authors, rather than simply classifying the text into human-written or AI-generated text. To this end, we propose DeTeCtive, a multi-task auxiliary, multi-level contrastive learning framework. DeTeCtive is designed to facilitate the learning of distinct writing styles, combined with a dense information retrieval pipeline for AI-generated text detection. Our method is compatible with a range of text encoders. Extensive experiments demonstrate that our method enhances the ability of various text encoders in detecting AI-generated text across multiple benchmarks and achieves state-of-the-art results. Notably, in OOD zero-shot evaluation, our method outperforms existing approaches by a large margin. Moreover, we find our method boasts a Training-Free Incremental Adaptation (TFIA) capability towards OOD data, further enhancing its efficacy in OOD detection scenarios. We will open-source our code and models in hopes that our work will spark new thoughts in the field of AI-generated text detection, ensuring safe application of LLMs and enhancing compliance. Our code is available at https://github.com/heyongxin233/DeTeCtive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google