EmoVIT: Revolutionizing Emotion Insights with Visual Instruction Tuning

要約

ビジュアル命令チューニングは、タスク固有の命令を使用して事前トレーニングされた言語モデルを微調整することを含む、新しい学習パラダイムを表します。
このパラダイムは、さまざまな自然言語処理タスクにおいて有望なゼロショット結果を示していますが、視覚感情理解についてはまだ解明されていません。
この作業では、感情的なコンテキストに関連する指示を理解し、遵守するモデルの習熟度を高めることに焦点を当てています。
最初に、視覚的感情認識に重要な主要な視覚的手がかりを特定します。
続いて、感情視覚指示データを生成するための新しい GPT 支援パイプラインを導入し、この領域における注釈付き指示データの不足に効果的に対処します。
InstructBLIP によって確立された基盤を拡張して、私たちが提案する EmoVIT アーキテクチャには感情固有の命令データが組み込まれており、大規模言語モデルの強力な機能を活用してパフォーマンスを向上させます。
広範な実験を通じて、私たちのモデルは感情分類の熟練度、感情的推論の熟練度、ユーモアを理解する能力を示しています。
比較分析は、LLM 時代の感情視覚指示チューニングの堅牢なベンチマークを提供し、貴重な洞察を提供し、この領域での将来の探索への道を開きます。
私たちのコードは \url{https://github.com/aimmemotion/EmoVIT} で入手できます。

要約(オリジナル)

Visual Instruction Tuning represents a novel learning paradigm involving the fine-tuning of pre-trained language models using task-specific instructions. This paradigm shows promising zero-shot results in various natural language processing tasks but is still unexplored in vision emotion understanding. In this work, we focus on enhancing the model’s proficiency in understanding and adhering to instructions related to emotional contexts. Initially, we identify key visual clues critical to visual emotion recognition. Subsequently, we introduce a novel GPT-assisted pipeline for generating emotion visual instruction data, effectively addressing the scarcity of annotated instruction data in this domain. Expanding on the groundwork established by InstructBLIP, our proposed EmoVIT architecture incorporates emotion-specific instruction data, leveraging the powerful capabilities of Large Language Models to enhance performance. Through extensive experiments, our model showcases its proficiency in emotion classification, adeptness in affective reasoning, and competence in comprehending humor. The comparative analysis provides a robust benchmark for Emotion Visual Instruction Tuning in the era of LLMs, providing valuable insights and opening avenues for future exploration in this domain. Our code is available at \url{https://github.com/aimmemotion/EmoVIT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google