Towards Human Understanding of Paraphrase Types in ChatGPT

要約

パラフレーズは、さまざまな方法で提示された表現を理解する人間の直観的な能力を表します。
現在の言語モデルの言い換え評価では主にバイナリ アプローチが使用されており、特定のテキスト変更の解釈可能性は限られています。
アトミック言い換えタイプ (APT) は、言い換えをさまざまな言語変化に分解し、言語表現の柔軟性 (使用される構文や語彙の変化など) を詳細に表示します。
この研究では、10 個の APT と 5 つのプロンプト手法を使用して、英語の言い換えを生成する際の ChatGPT に対する人間の好みを評価します。
15 人のアノテーターによる 500 個の文レベルおよび単語レベルのアノテーションのデータセットである APTY (Atomic Paraphrase TYpes) を紹介します。
このデータセットは、RLHF および DPO メソッドでモデルを微調整するために使用できる、さまざまなタイプの言い換えの人間の好みのランキングも提供します。
私たちの結果は、ChatGPT は追加や削除などの単純な APT を生成できるが、複雑な構造 (従属の変更など) には苦労することを明らかにしました。
この研究は、言い換え言語モデルのどの側面がすでに理解に成功しており、どの側面がまだ理解できていないのかを理解するのに役立ちます。
さらに、厳選されたデータセットを使用して、特定の言語機能を備えた言語モデルを開発することができます。

要約(オリジナル)

Paraphrases represent a human’s intuitive ability to understand expressions presented in various different ways. Current paraphrase evaluations of language models primarily use binary approaches, offering limited interpretability of specific text changes. Atomic paraphrase types (APT) decompose paraphrases into different linguistic changes and offer a granular view of the flexibility in linguistic expression (e.g., a shift in syntax or vocabulary used). In this study, we assess the human preferences towards ChatGPT in generating English paraphrases with ten APTs and five prompting techniques. We introduce APTY (Atomic Paraphrase TYpes), a dataset of 500 sentence-level and word-level annotations by 15 annotators. The dataset also provides a human preference ranking of paraphrases with different types that can be used to fine-tune models with RLHF and DPO methods. Our results reveal that ChatGPT can generate simple APTs, such as additions and deletions, but struggle with complex structures (e.g., subordination changes). This study contributes to understanding which aspects of paraphrasing language models have already succeeded at understanding and what remains elusive. In addition, our curated datasets can be used to develop language models with specific linguistic capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google