OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution

要約

オープンな言語モデル（OLLM）は、生成AIアプリケーションでますます活用されており、出力を検出するための新しい課題を提起しています。
OLLMSに基づいた新しいベンチマークであるOpenturingBenchを提案します。これは、チューリングテストおよび著者の帰属問題で機械で生成されたテキスト検出器を訓練および評価するように設計されています。
OpenturingBenchは、OLLMSの代表セットに焦点を当てており、人間/機械操作のテキスト、ドメイン外のテキスト、以前に見えなかったモデルのテキストなど、多くの挑戦的な評価タスクを備えています。
また、OLLMベースのマシンで生成されたテキストを検出および属性するための対照的な学習フレームワークであるOTBDETECTORも提供します。
結果は、検出器がさまざまなタスクにわたって顕著な機能を達成し、ほとんどの既存の検出器を上回る驚くべき機能を達成するため、結果の関連性とさまざまな程度の難易度を強調しています。
リソースは、https://huggingface.co/datasets/mlnteam-unical/openturingbenchでフェイスリポジトリを抱き締めるopenturingbenchで入手できます

要約(オリジナル)

Open Large Language Models (OLLMs) are increasingly leveraged in generative AI applications, posing new challenges for detecting their outputs. We propose OpenTuringBench, a new benchmark based on OLLMs, designed to train and evaluate machine-generated text detectors on the Turing Test and Authorship Attribution problems. OpenTuringBench focuses on a representative set of OLLMs, and features a number of challenging evaluation tasks, including human/machine-manipulated texts, out-of-domain texts, and texts from previously unseen models. We also provide OTBDetector, a contrastive learning framework to detect and attribute OLLM-based machine-generated texts. Results highlight the relevance and varying degrees of difficulty of the OpenTuringBench tasks, with our detector achieving remarkable capabilities across the various tasks and outperforming most existing detectors. Resources are available on the OpenTuringBench Hugging Face repository at https://huggingface.co/datasets/MLNTeam-Unical/OpenTuringBench

arxiv情報

提供元, 利用サービス

arxiv.jp, Google