Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results

要約

ユーモアは、人間の感情と認識の重要な要素です。
その自動理解は、より自然な人間とデバイスの相互作用と人工知能の人間化を促進することができます。
ユーモア検出の現在の方法は、ステージングされたデータのみに基づいているため、「現実世界」のアプリケーションには不適切です。
約 11 時間の録音で構成される新しい Passau-Spontaneous Football Coach Humor (Passau-SFCH) データセットを導入することで、この欠点に対処します。
Passau-SFCH データセットには、Martin’s Humor Style Questionnaire で提案されているように、ユーモアの存在とその次元 (感情と方向性) について注釈が付けられています。
事前トレーニング済みのトランスフォーマー、畳み込みニューラル ネットワーク、および専門家が設計した機能を使用して、一連の実験を行います。
自発的なユーモア認識のための各モダリティ (テキスト、オーディオ、ビデオ) のパフォーマンスが分析され、それらの補完性が調査されます。
私たちの調査結果は、ユーモアとその感情の自動分析では、顔の表情が最も有望であり、ユーモアの方向性はテキストベースの機能を介して最もよくモデル化できることを示唆しています.
結果は、ユーモアの使い方とスタイルの個性を際立たせる、さまざまな主題間のかなりの違いを明らかにしています。
さらに、決定レベルの融合が最良の認識結果をもたらすことがわかります。
最後に、コードを https://www.github.com/EIHW/passau-sfch で公開します。
Passau-SFCH データセットは、リクエストに応じて入手できます。

要約(オリジナル)

Humour is a substantial element of human affect and cognition. Its automatic understanding can facilitate a more naturalistic human-device interaction and the humanisation of artificial intelligence. Current methods of humour detection are solely based on staged data making them inadequate for ‘real-world’ applications. We address this deficiency by introducing the novel Passau-Spontaneous Football Coach Humour (Passau-SFCH) dataset, comprising of about 11 hours of recordings. The Passau-SFCH dataset is annotated for the presence of humour and its dimensions (sentiment and direction) as proposed in Martin’s Humor Style Questionnaire. We conduct a series of experiments, employing pretrained Transformers, convolutional neural networks, and expert-designed features. The performance of each modality (text, audio, video) for spontaneous humour recognition is analysed and their complementarity is investigated. Our findings suggest that for the automatic analysis of humour and its sentiment, facial expressions are most promising, while humour direction can be best modelled via text-based features. The results reveal considerable differences among various subjects, highlighting the individuality of humour usage and style. Further, we observe that a decision-level fusion yields the best recognition result. Finally, we make our code publicly available at https://www.github.com/EIHW/passau-sfch. The Passau-SFCH dataset is available upon request.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google