Do Stochastic Parrots have Feelings Too? Improving Neural Detection of Synthetic Text via Emotion Recognition

要約

生成 AI の最近の開発により、高性能の合成テキスト生成テクノロジーが注目を集めています。
このようなモデルが広く利用可能になり、使いやすくなったことから、合成テキストを識別できる同様に強力なテクノロジーを提供する緊急の必要性が浮き彫りになっています。
これを念頭に置いて、私たちは人が感情に動かされ、作成するテキストに感情をコード化する可能性があることを示唆する心理学研究からインスピレーションを得ています。
私たちは、事前トレーニング済み言語モデル (PLM) には感情的欠陥があると仮説を立てています。これは、事前学習済み言語モデル (PLM) には、テキストを生成する際にそのような感情的ドライバーが欠けており、その結果、感情的一貫性のない、つまり人間が作成したテキストに存在するような感情的一貫性を欠いた合成テキストが生成される可能性があるためです。
その後、感情に応じて PLM を微調整することで、感情を認識する検出器を開発します。
実験結果は、私たちの感情認識検出器が、さまざまな合成テキスト ジェネレーター、さまざまなサイズのモデル、データセット、およびドメインにわたって改善を達成していることを示しています。
最後に、感情を認識する合成テキスト検出器を、それ自体の出力を識別するタスクにおいて ChatGPT と比較し、大幅な向上を示し、合成テキストを識別する信号としての感情の可能性を強化します。
コード、モデル、データセットは https://github.com/alanagiasi/emoPLMsynth で入手できます。

要約(オリジナル)

Recent developments in generative AI have shone a spotlight on high-performance synthetic text generation technologies. The now wide availability and ease of use of such models highlights the urgent need to provide equally powerful technologies capable of identifying synthetic text. With this in mind, we draw inspiration from psychological studies which suggest that people can be driven by emotion and encode emotion in the text they compose. We hypothesize that pretrained language models (PLMs) have an affective deficit because they lack such an emotional driver when generating text and consequently may generate synthetic text which has affective incoherence i.e. lacking the kind of emotional coherence present in human-authored text. We subsequently develop an emotionally aware detector by fine-tuning a PLM on emotion. Experiment results indicate that our emotionally-aware detector achieves improvements across a range of synthetic text generators, various sized models, datasets, and domains. Finally, we compare our emotionally-aware synthetic text detector to ChatGPT in the task of identification of its own output and show substantial gains, reinforcing the potential of emotion as a signal to identify synthetic text. Code, models, and datasets are available at https: //github.com/alanagiasi/emoPLMsynth

arxiv情報

提供元, 利用サービス

arxiv.jp, Google