CollaFuse: Navigating Limited Resources and Privacy in Collaborative Generative AI

要約

生成人工知能の状況において、拡散ベースのモデルは、データ要件とプライバシーの面で社会技術システムに課題をもたらします。
フェデレーテッド ラーニングのような従来のアプローチは、学習プロセスを分散しますが、特に制約のあるリソース (エッジ デバイスなど) を使用する場合、個々のクライアントに負担がかかります。
これらの課題に対応するために、分割学習からインスピレーションを得た新しいフレームワークである CollaFuse を紹介します。
CollaFuse は、ノイズ除去拡散確率モデルを効率的かつ共同で使用できるように調整されており、共有サーバーのトレーニングと推論を可能にし、クライアントの計算負荷を軽減します。
これは、データと計算コストの低い GPU プロセスを各クライアントでローカルに保持し、計算コストのかかるプロセスを共有サーバーにアウトソーシングすることで実現されます。
ヘルスケアのコンテキストで実証されている CollaFuse は、機密情報の共有の必要性を大幅に削減することでプライバシーを強化します。
これらの機能は、エッジ コンピューティング ソリューションの設計、ヘルスケア研究、自動運転など、さまざまなアプリケーション分野に影響を与える可能性を秘めています。
本質的に、私たちの取り組みは分散型機械学習を前進させ、協調的な GenAI ネットワークの未来を形作ります。

要約(オリジナル)

In the landscape of generative artificial intelligence, diffusion-based models present challenges for socio-technical systems in data requirements and privacy. Traditional approaches like federated learning distribute the learning process but strain individual clients, especially with constrained resources (e.g., edge devices). In response to these challenges, we introduce CollaFuse, a novel framework inspired by split learning. Tailored for efficient and collaborative use of denoising diffusion probabilistic models, CollaFuse enables shared server training and inference, alleviating client computational burdens. This is achieved by retaining data and computationally inexpensive GPU processes locally at each client while outsourcing the computationally expensive processes to the shared server. Demonstrated in a healthcare context, CollaFuse enhances privacy by highly reducing the need for sensitive information sharing. These capabilities hold the potential to impact various application areas, such as the design of edge computing solutions, healthcare research, or autonomous driving. In essence, our work advances distributed machine learning, shaping the future of collaborative GenAI networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google