LuxVeri at GenAI Detection Task 3: Cross-Domain Detection of AI-Generated Text Using Inverse Perplexity-Weighted Ensemble of Fine-Tuned Transformer Models

要約

このペーパーでは、クロスドメインの機械生成テキスト (MGT) 検出に焦点を当てた、COLING-2025 での GenAI コンテンツ検出ワークショップのタスク 3 に対するアプローチを紹介します。
多様なテキスト領域にわたる分類精度を向上させるために、逆パープレキシティ重み付けによって強化された、微調整された変換モデルのアンサンブルを提案します。
サブタスク A (非敵対的 MGT 検出) では、微調整された RoBERTa ベース モデルと OpenAI 検出器が統合された RoBERTa ベース モデルを組み合わせ、合計 TPR スコア 0.826 を達成し、23 検出器中 10 位にランクされました。
サブタスク B (敵対的 MGT 検出) では、微調整された RoBERTa ベース モデルは 0.801 の TPR スコアを達成し、22 個の検出器中 8 位を確保しました。
私たちの結果は、非敵対的および敵対的両方の MGT 検出における一般化とパフォーマンスを向上させる逆パープレキシティ ベースの重み付けの有効性を実証し、クロスドメイン AI で生成されたコンテンツ検出におけるトランスフォーマー モデルの可能性を強調しています。

要約(オリジナル)

This paper presents our approach for Task 3 of the GenAI content detection workshop at COLING-2025, focusing on Cross-Domain Machine-Generated Text (MGT) Detection. We propose an ensemble of fine-tuned transformer models, enhanced by inverse perplexity weighting, to improve classification accuracy across diverse text domains. For Subtask A (Non-Adversarial MGT Detection), we combined a fine-tuned RoBERTa-base model with an OpenAI detector-integrated RoBERTa-base model, achieving an aggregate TPR score of 0.826, ranking 10th out of 23 detectors. In Subtask B (Adversarial MGT Detection), our fine-tuned RoBERTa-base model achieved a TPR score of 0.801, securing 8th out of 22 detectors. Our results demonstrate the effectiveness of inverse perplexity-based weighting for enhancing generalization and performance in both non-adversarial and adversarial MGT detection, highlighting the potential for transformer models in cross-domain AI-generated content detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google