要約
ChatGPT などの大規模言語モデルのテキスト生成における優れた機能は畏敬の念を呼び起こし、研究者らは誤った情報、フィッシング、学術的不正などの潜在的なリスクを軽減するための検出器を考案するようになりました。
それにもかかわらず、HC3 を含むこれまでの研究のほとんどは、純粋に ChatGPT によって生成されたテキストと人間が作成したテキストを区別する検出器の作成を主な目的としていました。
ただし、このアプローチは、ChatGPT で洗練されたテキストなど、人間とマシンのコラボレーションによって生成されたテキストを識別することはできません。
このギャップに対処するために、私たちは HPPT (ChatGPT で洗練された学術抄録) と呼ばれる新しいデータセットを導入し、より堅牢な検出器の構築を促進します。
これは、純粋に ChatGPT で生成されたテキストではなく、人間が書いた要約と ChatGPT で洗練された要約のペアで構成されることで、現存するコーパスから分岐しています。
さらに、編集距離に基づいたテキスト生成への ChatGPT の関与の革新的な尺度である「Polish Ratio」メソッドを提案します。
これは、結果として得られるテキストにおける人間の独創性の程度を測定するメカニズムを提供します。
私たちの実験結果は、私たちが提案したモデルが HPPT データセットと 2 つの既存のデータセット (HC3 と CDB) 上でより優れた堅牢性を備えていることを示しています。
さらに、私たちが提案した「Polish Ratio」は、ChatGPT の関与の程度を定量化することにより、より包括的な説明を提供します。これは、Polish Ratio 値が 0.2 より大きい場合は ChatGPT が関与していることを示し、値が 0.6 を超える場合は、ChatGPT がほとんどのテキストを生成することを意味します。
要約(オリジナル)
The remarkable capabilities of large-scale language models, such as ChatGPT, in text generation have incited awe and spurred researchers to devise detectors to mitigate potential risks, including misinformation, phishing, and academic dishonesty. Despite this, most previous studies, including HC3, have been predominantly geared towards creating detectors that differentiate between purely ChatGPT-generated texts and human-authored texts. This approach, however, fails to work on discerning texts generated through human-machine collaboration, such as ChatGPT-polished texts. Addressing this gap, we introduce a novel dataset termed HPPT (ChatGPT-polished academic abstracts), facilitating the construction of more robust detectors. It diverges from extant corpora by comprising pairs of human-written and ChatGPT-polished abstracts instead of purely ChatGPT-generated texts. Additionally, we propose the ‘Polish Ratio’ method, an innovative measure of ChatGPT’s involvement in text generation based on editing distance. It provides a mechanism to measure the degree of human originality in the resulting text. Our experimental results show our proposed model has better robustness on the HPPT dataset and two existing datasets (HC3 and CDB). Furthermore, the ‘Polish Ratio’ we proposed offers a more comprehensive explanation by quantifying the degree of ChatGPT involvement, which indicates that a Polish Ratio value greater than 0.2 signifies ChatGPT involvement and a value exceeding 0.6 implies that ChatGPT generates most of the text.
arxiv情報
| 著者 | Lingyi Yang,Feng Jiang,Haizhou Li |
| 発行日 | 2023-07-21 06:38:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google