Neural Authorship Attribution: Stylometric Analysis on Large Language Models

要約

GPT-4、PaLM、Llama などの大規模言語モデル (LLM) により、AI によって作成されたテキストの生成が大幅に推進されました。
潜在的な悪用に対する懸念が高まる中、AI 生成テキストのフォレンジックが急務となっています。
ニューラル著作者帰属は、AI が生成したテキストを元の LLM まで追跡することを目的とした法医学的な取り組みです。
LLM の状況は、プロプライエタリとオープンソースの 2 つの主要なカテゴリに分類できます。
この研究では、ニューラルの著作者帰属の微妙な違いに焦点を当てながら、LLM のこれらの新たなカテゴリを詳しく掘り下げます。
理解を深めるために、LLM 書き込み署名の実証分析を実行し、プロプライエタリ モデルとオープンソース モデルの対照を強調し、各グループ内のバリエーションを精査します。
言語の語彙的、構文的、構造的側面にわたってスタイロメトリック機能を統合することにより、解釈可能な結果を​​もたらし、ニューラル著作者帰属に利用される事前トレーニングされた言語モデルベースの分類器を強化する可能性を探ります。
さまざまな最先端の LLM に基づいた私たちの調査結果は、ニューラルな著者の帰属に関する経験的な洞察を提供し、AI が生成する誤った情報によってもたらされる脅威を軽減することを目的とした将来の調査への道を開きます。

要約(オリジナル)

Large language models (LLMs) such as GPT-4, PaLM, and Llama have significantly propelled the generation of AI-crafted text. With rising concerns about their potential misuse, there is a pressing need for AI-generated-text forensics. Neural authorship attribution is a forensic effort, seeking to trace AI-generated text back to its originating LLM. The LLM landscape can be divided into two primary categories: proprietary and open-source. In this work, we delve into these emerging categories of LLMs, focusing on the nuances of neural authorship attribution. To enrich our understanding, we carry out an empirical analysis of LLM writing signatures, highlighting the contrasts between proprietary and open-source models, and scrutinizing variations within each group. By integrating stylometric features across lexical, syntactic, and structural aspects of language, we explore their potential to yield interpretable results and augment pre-trained language model-based classifiers utilized in neural authorship attribution. Our findings, based on a range of state-of-the-art LLMs, provide empirical insights into neural authorship attribution, paving the way for future investigations aimed at mitigating the threats posed by AI-generated misinformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google