Who Writes the Review, Human or AI?

要約

自然言語処理における人工知能の使用が増えるにつれ、さまざまな分野で AI によって生成されたテキストの検出に関する懸念が生じています。
この研究は、AI が作成した書評と人間が書いた書評を正確に区別する方法論を提案することで、この問題を調査することを目的としています。
私たちのアプローチは転移学習を利用しており、モデルがさまざまなトピックにわたって生成されたテキストを識別できるようにすると同時に、文体や語彙の変化を検出する能力を向上させます。
提案された方法論の有効性を評価するために、最近提案された Vicuna オープンソース言語モデルを使用して、実際の書籍レビューと AI によって生成されたレビューで構成されるデータセットを開発しました。
実験結果は、テキストの元のソースを検出することが可能であることを実証し、96.86% の精度を達成しました。
私たちの取り組みは、テキスト識別の文脈における大規模言語モデルの機能と限界の探求に向けられています。
これらの側面に関する知識を拡張することは、将来同様のモデルを効果的にナビゲートし、人間が生成したコンテンツの完全性と信頼性を確保するために有益です。

要約(オリジナル)

With the increasing use of Artificial Intelligence in Natural Language Processing, concerns have been raised regarding the detection of AI-generated text in various domains. This study aims to investigate this issue by proposing a methodology to accurately distinguish AI-generated and human-written book reviews. Our approach utilizes transfer learning, enabling the model to identify generated text across different topics while improving its ability to detect variations in writing style and vocabulary. To evaluate the effectiveness of the proposed methodology, we developed a dataset consisting of real book reviews and AI-generated reviews using the recently proposed Vicuna open-source language model. The experimental results demonstrate that it is feasible to detect the original source of text, achieving an accuracy rate of 96.86%. Our efforts are oriented toward the exploration of the capabilities and limitations of Large Language Models in the context of text identification. Expanding our knowledge in these aspects will be valuable for effectively navigating similar models in the future and ensuring the integrity and authenticity of human-generated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google