Origin Tracing and Detecting of LLMs

要約

タイトル：LLMの起源の追跡と検出

要約：
– LLM（大規模言語モデル）の特異なパフォーマンスは、文脈がAIシステムによって生成されたものかどうかを検出することの重要性を高めています。
– さらに重要なことに、ますます多くの企業や機関がLLMをリリースするため、起源を追跡するのは困難になっています。
– LLMがAGIの時間に向かっているため、起源の追跡は重要です。
– この論文では、LLMの起源の懸念を提起し、AIによって生成された文脈を追跡および検出するための効果的な方法を提案しています。
– 我々は、LLMとの対比的な特徴を利用し、モデルごとの特徴を抽出してテキストの起源を追跡する新しいアルゴリズムを紹介します。
– また、我々の提案手法は白箱および黒箱の設定の両方で機能し、様々なLLMを検出するために一般化されることができます。
– さらに、我々の提案手法は監視学習方法と比較して限られたデータだけで動作するため、新しいモデルの起源を追跡するために拡張することができます。
– そして、我々は、与えられたテキストの起源を追跡できるかどうかを調べるために広範な実験を行いました。
– 実験結果に基づく貴重な観察結果を提供し、AIの起源の追跡の難易度や、AIの起源の類似性について言及して、LLMプロバイダの倫理的な懸念を呼びかけています。
– また、我々は、将来のAIの起源の追跡と検出の研究のためのツールキットおよびベンチマークとして、すべてのコードやデータを公開しています。

要約(オリジナル)

The extraordinary performance of large language models (LLMs) heightens the importance of detecting whether the context is generated by an AI system. More importantly, while more and more companies and institutions release their LLMs, the origin can be hard to trace. Since LLMs are heading towards the time of AGI, similar to the origin tracing in anthropology, it is of great importance to trace the origin of LLMs. In this paper, we first raise the concern of the origin tracing of LLMs and propose an effective method to trace and detect AI-generated contexts. We introduce a novel algorithm that leverages the contrastive features between LLMs and extracts model-wise features to trace the text origins. Our proposed method works under both white-box and black-box settings therefore can be widely generalized to detect various LLMs.(e.g. can be generalized to detect GPT-3 models without the GPT-3 models). Also, our proposed method requires only limited data compared with the supervised learning methods and can be extended to trace new-coming model origins. We construct extensive experiments to examine whether we can trace the origins of given texts. We provide valuable observations based on the experimental results, such as the difficulty level of AI origin tracing, and the AI origin similarities, and call for ethical concerns of LLM providers. We are releasing all codes and data as a toolkit and benchmark for future AI origin tracing and detecting studies. \footnote{We are releasing all available resource at \url{https://github.com/OpenLMLab/}.}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI