Incentivizing Inclusive Contributions in Model Sharing Markets

要約

データは現代のAIモデルのトレーニングにおいて重要な役割を果たしていますが、貴重な公開データが数年で使い果たされ、大規模な分散型プライベートデータに向かって世界の注意を向けることが認められています。
ただし、生データのプライバシーに敏感な性質とインセンティブメカニズムの欠如により、これらの貴重なデータが完全に活用されるのを防ぎます。
これらの課題に対処するこのペーパーでは、包括的かつインセンティブ化されたパーソナライズされたフェデレートラーニング（IPFL）を提案します。これは、生データを明らかにすることなくパーソナライズされたモデルを協力して訓練するように多様な目的でデータホルダーを奨励します。
IPFLは、グラフベースのトレーニングの最適化を解決することにより、モデル共有市場を構築し、ゲーム理論の原則に基づいたインセンティブメカニズムを組み込みます。
理論分析は、IPFLが2つの重要なインセンティブプロパティに準拠することを示しています：個々の合理性と真実性。
11のAIタスクに関する経験的研究（例：大規模な言語モデルの指導に満ちたタスク）は、IPFLがベースライン方法と比較して最高の経済的有用性、およびより良いまたは同等のモデルパフォーマンスを一貫して達成することを示しています。
私たちのIPFLは、分散型プライベートデータの将来のAIモデルを高めるための貴重なテクニックとして役立つと予想しています。

要約(オリジナル)

While data plays a crucial role in training contemporary AI models, it is acknowledged that valuable public data will be exhausted in a few years, directing the world’s attention towards the massive decentralized private data. However, the privacy-sensitive nature of raw data and lack of incentive mechanism prevent these valuable data from being fully exploited. Addressing these challenges, this paper proposes inclusive and incentivized personalized federated learning (iPFL), which incentivizes data holders with diverse purposes to collaboratively train personalized models without revealing raw data. iPFL constructs a model-sharing market by solving a graph-based training optimization and incorporates an incentive mechanism based on game theory principles. Theoretical analysis shows that iPFL adheres to two key incentive properties: individual rationality and truthfulness. Empirical studies on eleven AI tasks (e.g., large language models’ instruction-following tasks) demonstrate that iPFL consistently achieves the highest economic utility, and better or comparable model performance compared to baseline methods. We anticipate that our iPFL can serve as a valuable technique for boosting future AI models on decentralized private data while making everyone satisfied.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google