Towards Human Understanding of Paraphrase Types in Large Language Models

要約

言い換えは、さまざまな方法で提示された表現を理解する人間の直感的な能力を表しています。
言語モデルの現在の言い換え評価は、主にバイナリアプローチを使用し、特定のテキストの変更の制限された解釈可能性を提供します。
原子の言い換えタイプ（APT）は、言い換えを異なる言語変化に分解し、言語表現の柔軟性（例えば、使用される構文または語彙の変化）の粒状ビューを提供します。
この研究では、10個のAPTと5つのプロンプトテクニックを備えた英語の言い換えを生成する際に、ChatGptに対する人間の好みを評価します。
Apty（Atomic Paraphrase Types）を紹介します。これは、15のアノテーターによる800文レベルおよび単語レベルの注釈のデータセットです。
また、データセットは、RLHFおよびDPOメソッドでモデルを微調整するために使用できるさまざまなタイプのパラフラゼの人間の好みのランキングを提供します。
我々の結果は、ChatGptとDPOトレーニングを受けたLlama 7Bモデルが、追加や削除などの単純なAPTを生成できるが、複雑な構造（たとえば、従属変化など）と闘うことができることを明らかにしています。
この研究は、言語モデルの言い換えのどの側面がすでに理解に成功しているか、そしてとらえどころのないものを理解することに貢献しています。
さらに、キュレーションされたデータセットを使用して、特定の言語機能を備えた言語モデルを開発する方法を示します。

要約(オリジナル)

Paraphrases represent a human’s intuitive ability to understand expressions presented in various different ways. Current paraphrase evaluations of language models primarily use binary approaches, offering limited interpretability of specific text changes. Atomic paraphrase types (APT) decompose paraphrases into different linguistic changes and offer a granular view of the flexibility in linguistic expression (e.g., a shift in syntax or vocabulary used). In this study, we assess the human preferences towards ChatGPT in generating English paraphrases with ten APTs and five prompting techniques. We introduce APTY (Atomic Paraphrase TYpes), a dataset of 800 sentence-level and word-level annotations by 15 annotators. The dataset also provides a human preference ranking of paraphrases with different types that can be used to fine-tune models with RLHF and DPO methods. Our results reveal that ChatGPT and a DPO-trained LLama 7B model can generate simple APTs, such as additions and deletions, but struggle with complex structures (e.g., subordination changes). This study contributes to understanding which aspects of paraphrasing language models have already succeeded at understanding and what remains elusive. In addition, we show how our curated datasets can be used to develop language models with specific linguistic capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google