Multimodal Belief Prediction

要約

話者の信念に対する取り組みのレベルを認識するのは難しい作業です。
人間は文脈に沿って単語の意味を解釈するだけでなく、音声信号のイントネーションやその他の側面からの手がかりも理解します。
NLP コミュニティの多くの論文やコーパスは、テキストのみのアプローチを使用して信念予測タスクに取り組んできました。
私たちは、マルチモーダルな信念予測タスクの結果を構築し、提示した最初の企業です。
私たちは CB-Prosody corpus (CBP) を使用します。これには、話者信念の注釈が付けられた整列されたテキストと音声が含まれています。
まず、音響韻律特徴と従来の機械学習手法を使用して、ベースラインと重要な特徴を報告します。
次に、BERT と Whisper での CBP コーパス微調整のためのテキストとオーディオのベースラインをそれぞれ提示します。
最後に、BERT と Whisper を微調整し、複数の融合手法を使用して、両方のモダリティのみを改善するマルチモーダル アーキテクチャを紹介します。

要約(オリジナル)

Recognizing a speaker’s level of commitment to a belief is a difficult task; humans do not only interpret the meaning of the words in context, but also understand cues from intonation and other aspects of the audio signal. Many papers and corpora in the NLP community have approached the belief prediction task using text-only approaches. We are the first to frame and present results on the multimodal belief prediction task. We use the CB-Prosody corpus (CBP), containing aligned text and audio with speaker belief annotations. We first report baselines and significant features using acoustic-prosodic features and traditional machine learning methods. We then present text and audio baselines for the CBP corpus fine-tuning on BERT and Whisper respectively. Finally, we present our multimodal architecture which fine-tunes on BERT and Whisper and uses multiple fusion methods, improving on both modalities alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google