Can GPT models Follow Human Summarization Guidelines? Evaluating ChatGPT and GPT-4 for Dialogue Summarization

要約

この研究では、ChatGPT や GPT-4 のようなプロンプト駆動型の大規模言語モデル (LLM) が、対話要約に関する人間のガイドラインを遵守する能力を調査しています。
実験では、DialogSum (英語の社交会話) と DECODA (フランス語のコールセンターの対話) を使用し、既存の文献からのプロンプトや人間による要約ガイドラインからのプロンプト、2 段階のプロンプト アプローチなど、さまざまなプロンプトをテストしました。
私たちの調査結果は、GPT モデルがしばしば長い要約を生成し、人間の要約ガイドラインから逸脱していることを示しています。
ただし、中間ステップとして人間のガイドラインを使用することは有望であり、場合によっては直接の語長制約プロンプトよりも優れたパフォーマンスを発揮します。
結果は、GPT モデルがその要約に独特の文体傾向を示すことを明らかにしました。
GPT 出力では BERTScore が劇的に低下することはなく、人間のリファレンスや特殊な事前トレーニング済みモデルとの意味的類似性が示唆されていますが、ROUGE スコアは GPT で生成された要約と人間が書いた要約の間の文法的および語彙的な相違を明らかにしています。
これらの発見は、対話を要約するための人間の指示に従う際の GPT モデルの機能と限界を明らかにします。

要約(オリジナル)

This study explores the capabilities of prompt-driven Large Language Models (LLMs) like ChatGPT and GPT-4 in adhering to human guidelines for dialogue summarization. Experiments employed DialogSum (English social conversations) and DECODA (French call center interactions), testing various prompts: including prompts from existing literature and those from human summarization guidelines, as well as a two-step prompt approach. Our findings indicate that GPT models often produce lengthy summaries and deviate from human summarization guidelines. However, using human guidelines as an intermediate step shows promise, outperforming direct word-length constraint prompts in some cases. The results reveal that GPT models exhibit unique stylistic tendencies in their summaries. While BERTScores did not dramatically decrease for GPT outputs suggesting semantic similarity to human references and specialised pre-trained models, ROUGE scores reveal grammatical and lexical disparities between GPT-generated and human-written summaries. These findings shed light on the capabilities and limitations of GPT models in following human instructions for dialogue summarization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google