Which LLMs are Difficult to Detect? A Detailed Analysis of Potential Factors Contributing to Difficulties in LLM Text Detection

要約

LLM のアクセシビリティが高まるにつれて、LLM で生成されたテキストは、科学、学術、創造的な文章などのいくつかの分野で急増しました。
ただし、LLM は同じように作成されるわけではありません。
アーキテクチャやトレーニング データセットが異なる場合があります。
したがって、一部の LLM は他の LLM よりも検出が難しい場合があります。
合計 4 つの書き込みドメインにまたがる 2 つのデータセットを使用し、不均衡なデータセットで分類器をトレーニングするための深層学習ライブラリである LibAUC ライブラリを使用して AI 生成 (AIG) テキスト分類器をトレーニングします。
ディープフェイク テキスト データセットにおける私たちの結果は、AIG テキストの検出がドメインによって異なり、科学論文の作成が比較的困難であることを示しています。
学生の作文に焦点を当てた Rewriting Ivy Panda (RIP) データセットでは、OpenAI ファミリーの LLM を分類器が人間のテキストと区別するのが非常に困難であることがわかりました。
さらに、OpenAI によって生成されたテキストの検出の難しさを説明できる可能性のある要因を調査します。

要約(オリジナル)

As LLMs increase in accessibility, LLM-generated texts have proliferated across several fields, such as scientific, academic, and creative writing. However, LLMs are not created equally; they may have different architectures and training datasets. Thus, some LLMs may be more challenging to detect than others. Using two datasets spanning four total writing domains, we train AI-generated (AIG) text classifiers using the LibAUC library – a deep learning library for training classifiers with imbalanced datasets. Our results in the Deepfake Text dataset show that AIG-text detection varies across domains, with scientific writing being relatively challenging. In the Rewritten Ivy Panda (RIP) dataset focusing on student essays, we find that the OpenAI family of LLMs was substantially difficult for our classifiers to distinguish from human texts. Additionally, we explore possible factors that could explain the difficulties in detecting OpenAI-generated texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google