HANSEN: Human and AI Spoken Text Benchmark for Authorship Analysis

要約

著者名分析 (スタイロメトリーとも呼ばれます) は、長い間、自然言語処理 (NLP) の重要な側面でした。
同様に、最近の大規模言語モデル (LLM) の進歩により、人間が書いたテキストと AI が生成したテキストを区別するための著者情報分析がますます重要になっています。
ただし、これらの著者分析タスクは主に書き言葉に焦点を当てており、話し言葉のテキストは考慮されていません。
そこで、音声テキストの最大のベンチマークである HANSEN (Human ANd ai Spoken tExt beNchmark) を導入します。
HANSEN には、AI によって生成された新しい音声テキスト データセットの作成と並行して、トランスクリプトを伴う既存の音声データセットの細心の注意が含まれています。
これは、17 の人間のデータセットと、ChatGPT、PaLM2、Vicuna13B の 3 つの著名な LLM を使用して作成された AI 生成の音声テキストで構成されています。
HANSEN の有用性を評価および実証するために、人間の音声データセットに対して著者帰属 (AA) および著者検証 (AV) を実行し、最先端 (SOTA) モデルを使用して人間と AI の音声テキスト検出を実施しました。
文字 ngram や Transformer ベースのモデルなどの SOTA 手法は、人間の音声データセットでは、書かれたデータセットと比較して同様の AA および AV パフォーマンスを示しますが、AI によって生成された音声テキストの検出には改善の余地が多くあります。
HANSEN ベンチマークは、https://huggingface.co/datasets/HANSEN-REPO/HANSEN から入手できます。

要約(オリジナル)

Authorship Analysis, also known as stylometry, has been an essential aspect of Natural Language Processing (NLP) for a long time. Likewise, the recent advancement of Large Language Models (LLMs) has made authorship analysis increasingly crucial for distinguishing between human-written and AI-generated texts. However, these authorship analysis tasks have primarily been focused on written texts, not considering spoken texts. Thus, we introduce the largest benchmark for spoken texts – HANSEN (Human ANd ai Spoken tExt beNchmark). HANSEN encompasses meticulous curation of existing speech datasets accompanied by transcripts, alongside the creation of novel AI-generated spoken text datasets. Together, it comprises 17 human datasets, and AI-generated spoken texts created using 3 prominent LLMs: ChatGPT, PaLM2, and Vicuna13B. To evaluate and demonstrate the utility of HANSEN, we perform Authorship Attribution (AA) & Author Verification (AV) on human-spoken datasets and conducted Human vs. AI spoken text detection using state-of-the-art (SOTA) models. While SOTA methods, such as, character ngram or Transformer-based model, exhibit similar AA & AV performance in human-spoken datasets compared to written ones, there is much room for improvement in AI-generated spoken text detection. The HANSEN benchmark is available at: https://huggingface.co/datasets/HANSEN-REPO/HANSEN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google