SKDU at De-Factify 4.0: Natural Language Features for AI-Generated Text-Detection

要約

大規模な言語モデル（LLMS）の急速な進歩により、人間が作成したテキストをAIに生成されたコンテンツと区別する上で、新しい課題が導入されました。
この作業では、機能抽出ステップ（つまり、NELAツールキットから派生したRaidarとコンテンツベースの機能に触発されたプロンプトベースの書き換え機能）を含むAI生成テキスト検出のパイプラインアプローチを調査しました。
包括的な実験は、factify4.0データセットで実施され、2つのタスクを評価します。バイナリ分類は、人間が作成したテキストとAI生成テキストを区別し、マルチクラス分類を分類して、入力テキストを生成するために使用される特定の生成モデルを識別します。
私たちの調査結果は、NELAが両方のタスクでRaidarの機能を大幅に上回る機能を特徴としており、微妙な言語的、文体的、コンテンツベースの違いをキャプチャする能力を示しています。
RaidarとNelaの機能を組み合わせることで、最小限の改善が得られ、差別的な機能の低下によって導入された冗長性が強調されました。
テストされた分類器の中で、Xgboostは最も効果的なものとして浮上し、高精度と一般化を実現するためにリッチな特徴セットを活用しました。

要約(オリジナル)

The rapid advancement of large language models (LLMs) has introduced new challenges in distinguishing human-written text from AI-generated content. In this work, we explored a pipelined approach for AI-generated text detection that includes a feature extraction step (i.e. prompt-based rewriting features inspired by RAIDAR and content-based features derived from the NELA toolkit) followed by a classification module. Comprehensive experiments were conducted on the Defactify4.0 dataset, evaluating two tasks: binary classification to differentiate human-written and AI-generated text, and multi-class classification to identify the specific generative model used to generate the input text. Our findings reveal that NELA features significantly outperform RAIDAR features in both tasks, demonstrating their ability to capture nuanced linguistic, stylistic, and content-based differences. Combining RAIDAR and NELA features provided minimal improvement, highlighting the redundancy introduced by less discriminative features. Among the classifiers tested, XGBoost emerged as the most effective, leveraging the rich feature sets to achieve high accuracy and generalisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google