Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models

要約

マルチモーダル大手言語モデル（LLMS）は、テキスト、画像、オーディオなどの複数のモダリティを統合することにより、カスタマーサポートと運用に革命をもたらす上で極めて重要です。
Federated Prompt Learning（FPL）は、ビジョン言語モデルなどの事前に訓練されたマルチモーダルLLMと、パーソナライズされたプライバシーを提供するAIシステムを作成するためのフェデレート学習を組み合わせた最近提案されたアプローチです。
ただし、パーソナライズ、一般化、プライバシーの競合する目標のバランスをとることは、依然として重要な課題です。
過剰な個人化は、過剰適合、一般化可能性の低下につながる可能性がありますが、プライバシーの差などの厳しいプライバシー測定は、パーソナライズと一般化の両方を妨げる可能性があります。
この論文では、パーソナライズの表現力を維持する残留用語を維持しながら、低ランク適応スキームを活用して一般化をキャプチャすることにより、この課題に取り組むための差別的に私的な連邦迅速学習（DP-FPL）アプローチを提案します。
プライバシーを確​​保するために、ローカルプロンプトの2つの低ランクコンポーネントにローカル差のプライバシーを適用し、グローバル差のプライバシーをグローバルプロンプトに適用する新しい方法を導入します。
私たちのアプローチは、パーソナライズと一般化の間のトレードオフのバランスをとりながら、モデルのパフォーマンスに対するプライバシーノイズの影響を軽減します。
広範な実験は、他のベンチマークよりもアプローチの有効性を示しています。

要約(オリジナル)

Multimodal Large Language Models (LLMs) are pivotal in revolutionizing customer support and operations by integrating multiple modalities such as text, images, and audio. Federated Prompt Learning (FPL) is a recently proposed approach that combines pre-trained multimodal LLMs such as vision-language models with federated learning to create personalized, privacy-preserving AI systems. However, balancing the competing goals of personalization, generalization, and privacy remains a significant challenge. Over-personalization can lead to overfitting, reducing generalizability, while stringent privacy measures, such as differential privacy, can hinder both personalization and generalization. In this paper, we propose a Differentially Private Federated Prompt Learning (DP-FPL) approach to tackle this challenge by leveraging a low-rank adaptation scheme to capture generalization while maintaining a residual term that preserves expressiveness for personalization. To ensure privacy, we introduce a novel method where we apply local differential privacy to the two low-rank components of the local prompt, and global differential privacy to the global prompt. Our approach mitigates the impact of privacy noise on the model performance while balancing the tradeoff between personalization and generalization. Extensive experiments demonstrate the effectiveness of our approach over other benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google