TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models

要約

事前トレーニングされた大規模な言語モデルは、最近、さまざまな言語理解タスクで画期的なパフォーマンスを達成しました。
ただし、非言語的機能 (音響や視覚など) を言語と統合できない限り、同じモデルをマルチモーダル行動理解タスク (ビデオ感情/ユーモア検出など) に適用することはできません。
複数のモダリティを共同でモデル化すると、モデルの複雑さが大幅に増加し、トレーニング プロセスが大量のデータを必要とします。
膨大な量のテキスト データが Web 経由で入手できる一方で、大規模なマルチモーダル行動ビデオ データセットを収集するには、時間と費用の両面で非常にコストがかかります。
この論文では、大規模な言語モデルだけで、テキスト形式で提示されたときに非言語情報をうまく組み込むことができるかどうかを調査します。
音響情報と視覚情報を対応するテキスト記述に変換し、それらを音声テキストと連結する方法を提示します。
この拡張された入力を事前トレーニング済みの BERT モデルにフィードし、感情、ユーモア、皮肉の検出という 3 つのダウンストリーム マルチモーダル タスクで微調整します。
私たちのアプローチである TextMI は、モデルの複雑さを大幅に軽減し、モデルの決定に解釈可能性を追加し、優れた (マルチモーダル皮肉検出) または SOTA に近い (マルチモーダル感情分析およびマルチモーダル ユーモア検出) パフォーマンスを達成しながら、多様な一連のタスクに適用できます。
TextMI は、マルチモーダル行動分析タスクの一般的で競争力のあるベースラインとして、特にリソースが少ない環境で提案します。

要約(オリジナル)

Pre-trained large language models have recently achieved ground-breaking performance in a wide variety of language understanding tasks. However, the same model can not be applied to multimodal behavior understanding tasks (e.g., video sentiment/humor detection) unless non-verbal features (e.g., acoustic and visual) can be integrated with language. Jointly modeling multiple modalities significantly increases the model complexity, and makes the training process data-hungry. While an enormous amount of text data is available via the web, collecting large-scale multimodal behavioral video datasets is extremely expensive, both in terms of time and money. In this paper, we investigate whether large language models alone can successfully incorporate non-verbal information when they are presented in textual form. We present a way to convert the acoustic and visual information into corresponding textual descriptions and concatenate them with the spoken text. We feed this augmented input to a pre-trained BERT model and fine-tune it on three downstream multimodal tasks: sentiment, humor, and sarcasm detection. Our approach, TextMI, significantly reduces model complexity, adds interpretability to the model’s decision, and can be applied for a diverse set of tasks while achieving superior (multimodal sarcasm detection) or near SOTA (multimodal sentiment analysis and multimodal humor detection) performance. We propose TextMI as a general, competitive baseline for multimodal behavioral analysis tasks, particularly in a low-resource setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google