要約
ChatGPT などの大規模言語モデルのテキスト生成における優れた機能は、読者に感銘を与え、研究者を駆り立てて、誤った情報、フィッシング、学術的不正などの潜在的なリスクを軽減するための検出器を考案しました。
それにもかかわらず、これまでの研究のほとんどは、純粋に ChatGPT によって生成されたテキストと人間が作成したテキストを区別する検出器の作成を主な目的としていました。
ただし、このアプローチは、ChatGPT で洗練されたテキストなど、人間とマシンのコラボレーションによって生成されたテキストを識別することはできません。
このギャップに対処するために、私たちは HPPT (ChatGPT で洗練された学術抄録) と呼ばれる新しいデータセットを導入し、より堅牢な検出器の構築を促進します。
これは、純粋に ChatGPT で生成されたテキストではなく、人間が書いた要約と ChatGPT で洗練された要約のペアで構成されることで、現存するコーパスから分岐しています。
さらに、人間が書いた元のテキストと比較して、ChatGPT によって行われた変更の程度を測定する革新的な尺度である「Polish Ratio」メソッドを提案します。
これは、結果として得られるテキストにおける ChatGPT の影響の程度を測定するメカニズムを提供します。
私たちの実験結果は、私たちが提案したモデルが HPPT データセットと 2 つの既存のデータセット (HC3 と CDB) 上でより優れた堅牢性を備えていることを示しています。
さらに、私たちが提案した「ポーランド率」は、ChatGPT の関与の程度を定量化することにより、より包括的な説明を提供します。
要約(オリジナル)
The remarkable capabilities of large-scale language models, such as ChatGPT, in text generation have impressed readers and spurred researchers to devise detectors to mitigate potential risks, including misinformation, phishing, and academic dishonesty. Despite this, most previous studies have been predominantly geared towards creating detectors that differentiate between purely ChatGPT-generated texts and human-authored texts. This approach, however, fails to work on discerning texts generated through human-machine collaboration, such as ChatGPT-polished texts. Addressing this gap, we introduce a novel dataset termed HPPT (ChatGPT-polished academic abstracts), facilitating the construction of more robust detectors. It diverges from extant corpora by comprising pairs of human-written and ChatGPT-polished abstracts instead of purely ChatGPT-generated texts. Additionally, we propose the ‘Polish Ratio’ method, an innovative measure of the degree of modification made by ChatGPT compared to the original human-written text. It provides a mechanism to measure the degree of ChatGPT influence in the resulting text. Our experimental results show our proposed model has better robustness on the HPPT dataset and two existing datasets (HC3 and CDB). Furthermore, the ‘Polish Ratio’ we proposed offers a more comprehensive explanation by quantifying the degree of ChatGPT involvement.
arxiv情報
| 著者 | Lingyi Yang,Feng Jiang,Haizhou Li |
| 発行日 | 2023-12-30 13:17:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google