Aligned with LLM: a new multi-modal training paradigm for encoding fMRI activity in visual cortex

要約

最近、事前トレーニングされた大規模言語モデル (LLM) (GPT-4 など) の人気が急増しており、自然言語処理 (NLP) およびコンピューター ビジョン (CV) コミュニティ全体に広がっています。
これらの LLM は、高度なマルチモーダル理解機能を実証し、さまざまなベンチマークにわたって強力なパフォーマンスを示しました。
LLM は汎用人工知能の特性を具現化し始めており、視覚エンコーディング モデル内の脳のような特性を強化するための重要な指針を保持しています。
したがって、この論文は、視覚野における fMRI 活動を符号化するための、LLM と連携した新しいマルチモーダル トレーニング パラダイムを提案します。
このパラダイムに基づいて、LLM-Visual Encoding Model (LLM-VEM) という名前の fMRI データのエンコード モデルをトレーニングしました。
具体的には、LLM (miniGPT4) を利用してすべての刺激画像の説明テキストを生成し、高品質のテキスト説明セットを形成します。
さらに、事前トレーニング済みテキスト エンコーダー (CLIP) を使用してこれらの詳細な説明を処理し、テキスト埋め込み機能を取得します。
次に、コントラスト損失関数を使用して、画像埋め込み特徴とテキスト埋め込み特徴の間の距離を最小化し、刺激画像とテキスト情報の位置合わせ操作を完了します。
事前トレーニングされた LLM の支援により、この調整プロセスによりビジュアル エンコーディング モデルの学習が促進され、精度が向上します。
最終的な実験結果は、私たちのトレーニング パラダイムがビジュアル エンコーディング モデルのパフォーマンスの向上に大きく貢献したことを示しています。

要約(オリジナル)

Recently, there has been a surge in the popularity of pre trained large language models (LLMs) (such as GPT-4), sweeping across the entire Natural Language Processing (NLP) and Computer Vision (CV) communities. These LLMs have demonstrated advanced multi-modal understanding capabilities and showcased strong performance across various benchmarks. The LLM has started to embody traits of artificial general intelligence, which holds vital guidance for enhancing brain-like characteristics within visual encoding models. Hence, This paper proposes a new multi-modal training paradigm, aligning with LLM, for encoding fMRI activity in visual cortex. Based on this paradigm, we trained an encoding model in fMRI data named the LLM-Visual Encoding Model (LLM-VEM). Specifically, we utilize LLM (miniGPT4) to generate descriptive text for all stimulus images, forming a high-quality textual description set. Moreover, we use the pre-trained text encoder (CLIP) to process these detailed descriptions, obtaining the text embedding features. Next, we use the contrast loss function to minimize the distance between the image embedding features and the text embedding features to complete the alignment operation of the stimulus image and text information. With the assistance of the pre-trained LLM, this alignment process facilitates better learning of the visual encoding model, resulting in higher precision. The final experimental results indicate that our training paradigm has significantly aided in enhancing the performance of the visual encoding model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google