Detection of news written by the ChatGPT through authorship attribution performed by a Bidirectional LSTM model

要約

大規模言語ベースモデルのチャットボット「ChatGPT」は、発売以来人気を博し、幅広いシーンで活用されています。
この研究は、人口が消費するニュースを作成するために ChatGPT が使用され、フェイク ニュースの作成が容易になり、誤った情報が拡散し、ニュース ソースへの信頼が失われるという特定の状況を中心に研究されています。
これらの問題を認識して、この研究は、ニュース記事の著者帰属を実行し、ChatGPT によって書かれた記事を識別できる人工知能モデルを構築することを目的としています。
この目標を達成するために、同量の人間と ChatGPT の書かれたニュースを含むデータセットが組み立てられ、さまざまな自然処理言語技術を使用してそこから特徴が抽出され、さまざまな技術で構築された 3 つのモデルのトレーニング、検証、テストに使用されました。
最高のパフォーマンスは双方向長期短期メモリ (LSTM) ニューラル ネットワーク モデルによって生成され、テスト セットからのデータに対してテストした場合、91.57\% の精度を達成しました。

要約(オリジナル)

The large language based-model chatbot ChatGPT gained a lot of popularity since its launch and has been used in a wide range of situations. This research centers around a particular situation, when the ChatGPT is used to produce news that will be consumed by the population, causing the facilitation in the production of fake news, spread of misinformation and lack of trust in news sources. Aware of these problems, this research aims to build an artificial intelligence model capable of performing authorship attribution on news articles, identifying the ones written by the ChatGPT. To achieve this goal, a dataset containing equal amounts of human and ChatGPT written news was assembled and different natural processing language techniques were used to extract features from it that were used to train, validate and test three models built with different techniques. The best performance was produced by the Bidirectional Long Short Term Memory (LSTM) Neural Network model, achiving 91.57\% accuracy when tested against the data from the testing set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google