LuxVeri at GenAI Detection Task 1: Inverse Perplexity Weighted Ensemble for Robust Detection of AI-Generated Text across English and Multilingual Contexts

要約

このペーパーでは、機械生成テキストと人間が書いたテキストのバイナリ分類に焦点を当て、AI 生成コンテンツの検出に関する COLING 2025 ワークショップのタスク 1 用に開発されたシステムを紹介します。
私たちのアプローチでは、モデルのアンサンブルを利用し、各モデルの逆複雑度に応じて重みを割り当てて、分類精度を高めます。
英語テキスト検出タスクでは、RoBERTa ベース、RoBERTa ベースと OpenAI 検出器、および BERT ベース ケースを組み合わせて、マクロ F1 スコア 0.7458 を達成し、35 チーム中 12 位にランクされました。
同じ逆パープレキシティ重み付け手法を使用して、多言語テキスト検出タスク用に RemBERT、XLM-RoBERTa ベース、および BERT ベース多言語ケースをアンサンブルしました。
この結果、マクロ F1 スコアは 0.7513 となり、25 チーム中 4 位となりました。
私たちの結果は、単言語設定と多言語設定の両方で機械生成テキスト検出の堅牢性を向上させる逆パープレキシティ重み付けの有効性を実証し、この困難なタスクに対するアンサンブル手法の可能性を強調しています。

要約(オリジナル)

This paper presents a system developed for Task 1 of the COLING 2025 Workshop on Detecting AI-Generated Content, focusing on the binary classification of machine-generated versus human-written text. Our approach utilizes an ensemble of models, with weights assigned according to each model’s inverse perplexity, to enhance classification accuracy. For the English text detection task, we combined RoBERTa-base, RoBERTa-base with the OpenAI detector, and BERT-base-cased, achieving a Macro F1-score of 0.7458, which ranked us 12th out of 35 teams. We ensembled RemBERT, XLM-RoBERTa-base, and BERT-base-multilingual-case for the multilingual text detection task, employing the same inverse perplexity weighting technique. This resulted in a Macro F1-score of 0.7513, positioning us 4th out of 25 teams. Our results demonstrate the effectiveness of inverse perplexity weighting in improving the robustness of machine-generated text detection across both monolingual and multilingual settings, highlighting the potential of ensemble methods for this challenging task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google