要約
既存のユーモアのデータセットと評価は主に英語に焦点を当てており、中国語などの英語以外の言語の文化的微妙なユーモアに関するリソースが不足しています。
このギャップに対処するために、私たちは知的に挑戦的で文化的に特有のジョークを共有することに特化した中国の Reddit のようなプラットフォームである Ruo Zhi Ba (RZB) をソースとするデータセット Chumor を構築しました。
各ジョークの説明に注釈を付け、中国語のネイティブ スピーカーによる A/B テストを通じて、2 つの最先端の LLM、GPT-4o と ERNIE Bot に対して人間の説明を評価します。
私たちの評価によれば、Chumor は SOTA LLM にとってさえ挑戦的であり、Chumor ジョークに対する人間による説明は、LLM によって生成された説明よりもはるかに優れています。
要約(オリジナル)
Existing humor datasets and evaluations predominantly focus on English, lacking resources for culturally nuanced humor in non-English languages like Chinese. To address this gap, we construct Chumor, a dataset sourced from Ruo Zhi Ba (RZB), a Chinese Reddit-like platform dedicated to sharing intellectually challenging and culturally specific jokes. We annotate explanations for each joke and evaluate human explanations against two state-of-the-art LLMs, GPT-4o and ERNIE Bot, through A/B testing by native Chinese speakers. Our evaluation shows that Chumor is challenging even for SOTA LLMs, and the human explanations for Chumor jokes are significantly better than explanations generated by the LLMs.
arxiv情報
| 著者 | Ruiqi He,Yushu He,Longju Bai,Jiarui Liu,Zhenjie Sun,Zenghao Tang,He Wang,Hanchen Xia,Naihao Deng |
| 発行日 | 2024-06-18 16:22:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google