Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models

要約

マルチモーダル大規模言語モデル (LLM) は、テキスト、画像、音声などの複数のモダリティを統合することにより、顧客サポートと運用に革命を起こす上で極めて重要です。
Federated Prompt Learning (FPL) は、視覚言語モデルなどの事前トレーニングされたマルチモーダル LLM とフェデレーテッド ラーニングを組み合わせて、パーソナライズされたプライバシー保護 AI システムを作成する、最近提案されたアプローチです。
ただし、パーソナライゼーション、一般化、プライバシーという競合する目標のバランスを取ることは依然として大きな課題です。
過度のパーソナライゼーションは過剰適合につながり、一般化可能性が低下する可能性がありますが、差分プライバシーなどの厳格なプライバシー対策はパーソナライゼーションと一般化の両方を妨げる可能性があります。
この論文では、パーソナライゼーションの表現力を維持する残差項を維持しながら、一般化を捕捉する低ランク適応スキームを活用することで、この課題に取り組む差分プライベートフェデレーションプロンプト学習 (DP-FPL) アプローチを提案します。
プライバシーを確​​保するために、ローカル差分プライバシーをローカル プロンプトの 2 つの低ランク コンポーネントに適用し、グローバル差分プライバシーをグローバル プロンプトに適用する新しい方法を導入します。
私たちのアプローチは、パーソナライゼーションと一般化の間のトレードオフのバランスをとりながら、モデルのパフォーマンスに対するプライバシー ノイズの影響を軽減します。
広範な実験により、他のベンチマークに対する当社のアプローチの有効性が実証されています。

要約(オリジナル)

Multimodal Large Language Models (LLMs) are pivotal in revolutionizing customer support and operations by integrating multiple modalities such as text, images, and audio. Federated Prompt Learning (FPL) is a recently proposed approach that combines pre-trained multimodal LLMs such as vision-language models with federated learning to create personalized, privacy-preserving AI systems. However, balancing the competing goals of personalization, generalization, and privacy remains a significant challenge. Over-personalization can lead to overfitting, reducing generalizability, while stringent privacy measures, such as differential privacy, can hinder both personalization and generalization. In this paper, we propose a Differentially Private Federated Prompt Learning (DP-FPL) approach to tackle this challenge by leveraging a low-rank adaptation scheme to capture generalization while maintaining a residual term that preserves expressiveness for personalization. To ensure privacy, we introduce a novel method where we apply local differential privacy to the two low-rank components of the local prompt, and global differential privacy to the global prompt. Our approach mitigates the impact of privacy noise on the model performance while balancing the tradeoff between personalization and generalization. Extensive experiments demonstrate the effectiveness of our approach over other benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google