Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results

要約

ユーモアは人間の感情と認知の重要な要素です。
その自動理解により、より自然な人間とデバイスの相互作用と人工知能の人間化が促進されます。
現在のユーモア検出方法は、ステージングされたデータのみに基づいているため、「現実世界」のアプリケーションには不十分です。
我々は、約 11 時間の記録で構成される新しい Passau-Spontaneous Football Coach Humor (Passau-SFCH) データセットを導入することで、この欠陥に対処します。
Passau-SFCH データセットには、Martin の Humor Style Questionnaire で提案されているように、ユーモアの存在とその次元 (感情と方向性) について注釈が付けられています。
私たちは、事前トレーニング済みのトランスフォーマー、畳み込みニューラル ネットワーク、専門家が設計した機能を使用して、一連の実験を実施します。
自発的ユーモア認識に対する各モダリティ (テキスト、オーディオ、ビデオ) のパフォーマンスが分析され、それらの相補性が調査されます。
私たちの調査結果は、ユーモアとその感情の自動分析には顔の表情が最も有望である一方、ユーモアの方向性はテキストベースの機能を使用して最もよくモデル化できることを示唆しています。
その結果、さまざまな主題間でかなりの違いがあることが明らかになり、ユーモアの使い方やスタイルの個性が浮き彫りになりました。
さらに、決定レベルの融合により最良の認識結果が得られることがわかります。
最後に、コードを https://www.github.com/EIHW/passau-sfch で公開します。
Passau-SFCH データセットはリクエストに応じて入手可能です。

要約(オリジナル)

Humour is a substantial element of human affect and cognition. Its automatic understanding can facilitate a more naturalistic human-device interaction and the humanisation of artificial intelligence. Current methods of humour detection are solely based on staged data making them inadequate for ‘real-world’ applications. We address this deficiency by introducing the novel Passau-Spontaneous Football Coach Humour (Passau-SFCH) dataset, comprising of about 11 hours of recordings. The Passau-SFCH dataset is annotated for the presence of humour and its dimensions (sentiment and direction) as proposed in Martin’s Humor Style Questionnaire. We conduct a series of experiments, employing pretrained Transformers, convolutional neural networks, and expert-designed features. The performance of each modality (text, audio, video) for spontaneous humour recognition is analysed and their complementarity is investigated. Our findings suggest that for the automatic analysis of humour and its sentiment, facial expressions are most promising, while humour direction can be best modelled via text-based features. The results reveal considerable differences among various subjects, highlighting the individuality of humour usage and style. Further, we observe that a decision-level fusion yields the best recognition result. Finally, we make our code publicly available at https://www.github.com/EIHW/passau-sfch. The Passau-SFCH dataset is available upon request.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google