Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models

要約

ユーモアは人間の認知と相互作用の基本的な側面です。
しかし、最近の自然言語処理の進歩にも関わらず、ユーモア検出は依然として困難な課題であり、ユーモアのあるテキストと同様の非ユーモアテキストを組み合わせるデータセットが不足していることによって複雑になっています。
私たちの研究では、大規模言語モデル (LLM) がテキストの編集を通じてユーモア検出のための合成データを生成できるかどうかを調査しています。
既存の人間のデータセットで LLM のベンチマークを行い、人間による判断とユーモア検出の下流タスクでの測定で、現在の LLM が「面白くない」ジョークに対して優れた能力を示していることを示します。
私たちはコードが混在した英語とヒンディー語のユーモア データセットにアプローチを拡張しました。そこでは、GPT-4 の合成データがバイリンガル アノテーターによって高く評価されており、ユーモア分類器にとって困難な敵対的な例を提供していることがわかりました。

要約(オリジナル)

Humor is a fundamental facet of human cognition and interaction. Yet, despite recent advances in natural language processing, humor detection remains a challenging task that is complicated by the scarcity of datasets that pair humorous texts with similar non-humorous counterparts. In our work, we investigate whether large language models (LLMs), can generate synthetic data for humor detection via editing texts. We benchmark LLMs on an existing human dataset and show that current LLMs display an impressive ability to ‘unfun’ jokes, as judged by humans and as measured on the downstream task of humor detection. We extend our approach to a code-mixed English-Hindi humor dataset, where we find that GPT-4’s synthetic data is highly rated by bilingual annotators and provides challenging adversarial examples for humor classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google