Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text

要約

近年、AIに生成されたテキストの検出は、学問の完全性、誤った情報、および倫理的AIの展開に関する懸念により、研究の重要な分野になりました。
このペーパーでは、AIに生成されたテキストを検出し、特定の言語モデルを特定するための新しいフレームワークであるCOT Fine-Tunedを紹介します。
テキストの生成を担当します。
タスクAにはAIが生成または人間が書かれたものとして分類することを含むデュアルタスクアプローチを提案し、タスクBはテキストの背後にある特定のLLMを識別します。
私たちの方法の重要な革新は、考え方の推論の使用にあり、これにより、モデルはその予測の説明を生成し、透明性と解釈性を向上させることができます。
私たちの実験は、COTの微調整が両方のタスクで高い精度を達成し、LLMの識別と人間と分類のパフォーマンスが強いことを示しています。
また、COT推論プロセスがモデルの有効性と解釈可能性に大きく貢献していることも示します。

要約(オリジナル)

In recent years, the detection of AI-generated text has become a critical area of research due to concerns about academic integrity, misinformation, and ethical AI deployment. This paper presents COT Fine-tuned, a novel framework for detecting AI-generated text and identifying the specific language model. responsible for generating the text. We propose a dual-task approach, where Task A involves classifying text as AI-generated or human-written, and Task B identifies the specific LLM behind the text. The key innovation of our method lies in the use of Chain-of-Thought reasoning, which enables the model to generate explanations for its predictions, enhancing transparency and interpretability. Our experiments demonstrate that COT Fine-tuned achieves high accuracy in both tasks, with strong performance in LLM identification and human-AI classification. We also show that the CoT reasoning process contributes significantly to the models effectiveness and interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google