Multimodal Contrastive In-Context Learning

要約

大規模言語モデル (LLM) の使用が急速に増加しているため、勾配フリーのインコンテキスト学習 (ICL) の重要性が浮き彫りになっています。
ただし、その内部の仕組みを解釈することは依然として困難です。
この論文では、LLM における ICL の理解を強化するための、新しいマルチモーダル対比インコンテキスト学習フレームワークを紹介します。
まず、実世界の設定における ICL の対照的な学習ベースの解釈を提示し、キーと値の表現の距離を ICL の差別化要因としてマークします。
次に、実世界のデータセットのマルチモーダル入力フォーマットにおけるバイアスに対処するための分析フレームワークを開発します。
ベースライン パフォーマンスが低い場合、たとえ目に見えない形式で表現されている場合でも、ICL サンプルの有効性を示します。
最後に、ICL (Anchored-by-Text ICL) のオンザフライ アプローチを提案します。これは、憎悪に満ちたミームの検出における有効性を実証します。このタスクは、一般的な ICL ではリソースの制限により困難です。
マルチモーダル データセットに関する広範な実験により、私たちのアプローチが、困難なタスクやリソースに制約のある環境など、さまざまなシナリオにわたって ICL のパフォーマンスを大幅に向上させることが明らかになりました。
さらに、LLM におけるコンテキスト内学習のメカニズムについて貴重な洞察を提供します。
私たちの発見は、特に困難なタスクやリソースに制約のある環境において、より解釈可能で効率的かつ堅牢なマルチモーダル AI システムの開発に重要な意味を持ちます。

要約(オリジナル)

The rapid growth of Large Language Models (LLMs) usage has highlighted the importance of gradient-free in-context learning (ICL). However, interpreting their inner workings remains challenging. This paper introduces a novel multimodal contrastive in-context learning framework to enhance our understanding of ICL in LLMs. First, we present a contrastive learning-based interpretation of ICL in real-world settings, marking the distance of the key-value representation as the differentiator in ICL. Second, we develop an analytical framework to address biases in multimodal input formatting for real-world datasets. We demonstrate the effectiveness of ICL examples where baseline performance is poor, even when they are represented in unseen formats. Lastly, we propose an on-the-fly approach for ICL (Anchored-by-Text ICL) that demonstrates effectiveness in detecting hateful memes, a task where typical ICL struggles due to resource limitations. Extensive experiments on multimodal datasets reveal that our approach significantly improves ICL performance across various scenarios, such as challenging tasks and resource-constrained environments. Moreover, it provides valuable insights into the mechanisms of in-context learning in LLMs. Our findings have important implications for developing more interpretable, efficient, and robust multimodal AI systems, especially in challenging tasks and resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google