Grounding Foundation Models through Federated Transfer Learning: A General Framework

要約

膨大な知識と強力な創発能力でエンコードされた GPT-4 などの基盤モデル (FM) は、さまざまな自然言語処理やコンピューター ビジョンのタスクで目覚ましい成功を収めています。
FM をドメイン固有のタスクに適応させたり、ドメイン固有の知識で強化したりして FM を基礎づけることで、FM の可能性を最大限に活用できるようになります。
ただし、グラウンディング FM は、主にコンピューティング リソースの制約、データ プライバシー、モデルの異質性、モデルの所有権に起因するいくつかの課題に直面しています。
フェデレーテッド ラーニングと転移学習を組み合わせた Federated Transfer Learning (FTL) は、これらの課題に対処する有望なソリューションを提供します。
近年、FTL を活用した接地 FM、造語 FTL-FM の必要性が学界と産業界の両方で強く高まっています。
FTL-FM 研究の力強い成長と産業応用に対する FTL-FM の潜在的な影響を動機として、我々は連合学習設定におけるグラウンディング FM の問題を定式化し、FTL-FM に基づいて詳細な分類を構築する FTL-FM フレームワークを提案します。
最先端の FTL-FM 作品を分類し、提案された分類法に基づいて FTL-FM 作品を包括的に概観するための FM フレームワーク。
また、FM 実践者が研究活動を FTL-FM と調整できるように、FTL-FM と FM を適応させる従来の段階との対応関係も確立します。
さらに、FTL-FM では効率とプライバシーが重要な懸念事項であるため、高度な効率向上とプライバシー保護の技術について概説します。
最後に、FTL-FM の機会と将来の研究の方向性について説明します。

要約(オリジナル)

Foundation Models (FMs) such as GPT-4 encoded with vast knowledge and powerful emergent abilities have achieved remarkable success in various natural language processing and computer vision tasks. Grounding FMs by adapting them to domain-specific tasks or augmenting them with domain-specific knowledge enables us to exploit the full potential of FMs. However, grounding FMs faces several challenges, stemming primarily from constrained computing resources, data privacy, model heterogeneity, and model ownership. Federated Transfer Learning (FTL), the combination of federated learning and transfer learning, provides promising solutions to address these challenges. In recent years, the need for grounding FMs leveraging FTL, coined FTL-FM, has arisen strongly in both academia and industry. Motivated by the strong growth in FTL-FM research and the potential impact of FTL-FM on industrial applications, we propose an FTL-FM framework that formulates problems of grounding FMs in the federated learning setting, construct a detailed taxonomy based on the FTL-FM framework to categorize state-of-the-art FTL-FM works, and comprehensively overview FTL-FM works based on the proposed taxonomy. We also establish correspondences between FTL-FM and conventional phases of adapting FM so that FM practitioners can align their research works with FTL-FM. In addition, we overview advanced efficiency-improving and privacy-preserving techniques because efficiency and privacy are critical concerns in FTL-FM. Last, we discuss opportunities and future research directions of FTL-FM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google