Papilusion at DAGPap24: Paper or Illusion? Detecting AI-generated Scientific Papers

要約

この論文では、自動生成された科学論文の検出に関する DAGPap24 共有タスク内で開発された、AI 生成の科学テキスト検出器である Papilusion について紹介します。
私たちはアンサンブルベースのアプローチを提案し、アブレーション研究を実施して、検出器の構成が性能に及ぼす影響を分析します。
Papilusion はリーダーボードで 6 位にランクされており、競技終了後にパフォーマンスを向上させ、公式テストセットで F1 スコアの 99.46 (+9.63) を達成しました。

要約(オリジナル)

This paper presents Papilusion, an AI-generated scientific text detector developed within the DAGPap24 shared task on detecting automatically generated scientific papers. We propose an ensemble-based approach and conduct ablation studies to analyze the effect of the detector configurations on the performance. Papilusion is ranked 6th on the leaderboard, and we improve our performance after the competition ended, achieving 99.46 (+9.63) of the F1-score on the official test set.

arxiv情報

著者 Nikita Andreev,Alexander Shirnin,Vladislav Mikhailov,Ekaterina Artemova
発行日 2024-07-30 10:33:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク