Advacheck at GenAI Detection Task 1: AI Detection Powered by Domain-Aware Multi-Tasking

要約

この論文では、GenAI Detection Task 1 コンペティションの単一言語サブタスクにおいて、機械が生成したテキストと人間が書いたテキストを認識するために Advacheck チームによって設計されたシステムについて説明しています。
私たちが開発したシステムは、複数の分類ヘッド間で共有のトランスフォーマー エンコーダを備えたマルチタスク アーキテクチャです。
1 つのヘッドは人間が書いたテキストと機械が生成したテキストの間のバイナリ分類を担当し、他のヘッドは特定のデータセットからの異なるドメインのテキストに対する補助的な多クラス分類器です。
マルチクラスヘッドはデータ内に存在するドメインを区別できるように訓練されているため、サンプルをより深く理解できます。
このアプローチにより、テスト セットのマクロ F1 スコアが 83.07% となり、ベースラインを 10% 回避して公式ランキングで 1 位を獲得することができました。
アブレーション、エラー、表現解析を通じて得られたシステムをさらに研究し、マルチタスク学習がシングルタスクモードよりも優れており、同時タスクが埋め込み空間でクラスター構造を形成することを発見しました。

要約(オリジナル)

The paper describes a system designed by Advacheck team to recognise machine-generated and human-written texts in the monolingual subtask of GenAI Detection Task 1 competition. Our developed system is a multi-task architecture with shared Transformer Encoder between several classification heads. One head is responsible for binary classification between human-written and machine-generated texts, while the other heads are auxiliary multiclass classifiers for texts of different domains from particular datasets. As multiclass heads were trained to distinguish the domains presented in the data, they provide a better understanding of the samples. This approach led us to achieve the first place in the official ranking with 83.07% macro F1-score on the test set and bypass the baseline by 10%. We further study obtained system through ablation, error and representation analyses, finding that multi-task learning outperforms single-task mode and simultaneous tasks form a cluster structure in embeddings space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google