要約
大規模言語モデル (LLM) は、幅広いユーザー クエリにわたって流暢なコンテンツを生成する優れた能力を示します。
しかし、この機能は誤った情報や個人情報の漏洩に関する懸念を引き起こしています。
このペーパーでは、単一言語と多言語の両方のコンテキストでさまざまなドメインにわたる機械生成テキストを検出することを目的とした、SemEval2024 タスク 8 のメソッドを紹介します。
私たちの研究では、統計的アプローチ、ニューラルアプローチ、事前トレーニング済みモデルアプローチなど、機械生成テキストを検出するためのさまざまな方法を包括的に分析しています。
また、実験設定を詳細に説明し、詳細なエラー分析を実行して、これらの手法の有効性を評価します。
私たちの方法では、サブタスク A モノラルのテスト セットで 86.9\% の精度が得られ、サブタスク B では 83.7\% の精度が得られます。
さらに、将来の研究で考慮すべき課題と重要な要素も強調します。
要約(オリジナル)
The Large Language Models (LLMs) exhibit remarkable ability to generate fluent content across a wide spectrum of user queries. However, this capability has raised concerns regarding misinformation and personal information leakage. In this paper, we present our methods for the SemEval2024 Task8, aiming to detect machine-generated text across various domains in both mono-lingual and multi-lingual contexts. Our study comprehensively analyzes various methods to detect machine-generated text, including statistical, neural, and pre-trained model approaches. We also detail our experimental setup and perform a in-depth error analysis to evaluate the effectiveness of these methods. Our methods obtain an accuracy of 86.9\% on the test set of subtask-A mono and 83.7\% for subtask-B. Furthermore, we also highlight the challenges and essential factors for consideration in future studies.
arxiv情報
| 著者 | Ashok Urlana,Aditya Saibewar,Bala Mallikarjunarao Garlapati,Charaka Vinayak Kumar,Ajeet Kumar Singh,Srinivasa Rao Chalamala |
| 発行日 | 2024-03-25 10:09:03+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google