要約
ユーモアは人間のコミュニケーションの中心的な側面ですが、これまで人工エージェントでは解決されていませんでした。
大規模言語モデル (LLM) は、暗黙的なコンテキスト情報をキャプチャできるようになってきています。
特に、最近では OpenAI の ChatGPT が大きな注目を集めています。
GPT3 ベースのモデルは、ほとんど人間レベルでコミュニケーションをとっているように見え、ジョークを言うことさえできます。
ユーモアは人間のコミュニケーションに不可欠な要素です。
しかし、ChatGPT は本当に面白いのでしょうか?
ChatGPT のユーモアのセンスを試してみました。
ジョークに関する一連の探索的実験 (生成、説明、検出) で、人間のユーモアを把握し再現する ChatGPT の能力を理解しようとします。
モデル自体にはアクセスできないため、プロンプトベースの実験を適用しました。
私たちの経験的証拠は、ジョークはハードコーディングされていないだけでなく、ほとんどの場合、モデルによって新たに生成されたものでもないことを示しています。
生成された 1,008 個のジョークの 90% 以上が同じ 25 個のジョークでした。
システムは有効なジョークを正確に説明しますが、無効なジョークについては架空の説明も考え出します。
ジョークに特有の特徴は、ジョークの分類において ChatGPT を誤解させる可能性があります。
ChatGPT はまだ計算上のユーモアを解決していませんが、「面白い」マシンに向けて大きな飛躍となる可能性があります。
要約(オリジナル)
Humor is a central aspect of human communication that has not been solved for artificial agents so far. Large language models (LLMs) are increasingly able to capture implicit and contextual information. Especially, OpenAI’s ChatGPT recently gained immense public attention. The GPT3-based model almost seems to communicate on a human level and can even tell jokes. Humor is an essential component of human communication. But is ChatGPT really funny? We put ChatGPT’s sense of humor to the test. In a series of exploratory experiments around jokes, i.e., generation, explanation, and detection, we seek to understand ChatGPT’s capability to grasp and reproduce human humor. Since the model itself is not accessible, we applied prompt-based experiments. Our empirical evidence indicates that jokes are not hard-coded but mostly also not newly generated by the model. Over 90% of 1008 generated jokes were the same 25 Jokes. The system accurately explains valid jokes but also comes up with fictional explanations for invalid jokes. Joke-typical characteristics can mislead ChatGPT in the classification of jokes. ChatGPT has not solved computational humor yet but it can be a big leap toward ‘funny’ machines.
arxiv情報
| 著者 | Sophie Jentzsch,Kristian Kersting |
| 発行日 | 2023-06-07 16:10:21+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google