Representation Retrieval Learning for Heterogeneous Data Integration

要約

ビッグデータの時代では、大規模でマルチモーダルデータセットがますます遍在しており、予測モデリングと科学的発見の前例のない機会を提供しています。
ただし、これらのデータセットは、既存の予測アルゴリズムの精度を妨げる可能性のある、共変量シフト、事後ドリフト、モダリティの欠落など、複雑な不均一性を示すことがよくあります。
これらの課題に対処するために、表現学習モジュール（代表者）をスパース誘発機械学習モデル（学習者）と統合する新しい表現検索（$ r^2 $）フレームワークを提案します。
さらに、学習代表者に使用される効果的なデータソースを特徴とする代表者の「統合性」の概念を紹介し、プロパティを明示的に改善するための選択的統合ペナルティ（SIP）を提案します。
理論的には、$ r^2 $フレームワークがマルチタスク学習における従来のフルシェアリングの仮定を緩和し、部分的に共有された構造を可能にし、SIPが過剰なリスクバウンドの収束率を改善できることを実証します。
広範なシミュレーション研究は、フレームワークの経験的パフォーマンスを検証し、2つの実際のデータセットへのアプリケーションが既存のアプローチに対する優位性をさらに確認します。

要約(オリジナル)

In the era of big data, large-scale, multi-modal datasets are increasingly ubiquitous, offering unprecedented opportunities for predictive modeling and scientific discovery. However, these datasets often exhibit complex heterogeneity, such as covariate shift, posterior drift, and missing modalities, that can hinder the accuracy of existing prediction algorithms. To address these challenges, we propose a novel Representation Retrieval ($R^2$) framework, which integrates a representation learning module (the representer) with a sparsity-induced machine learning model (the learner). Moreover, we introduce the notion of ‘integrativeness’ for representers, characterized by the effective data sources used in learning representers, and propose a Selective Integration Penalty (SIP) to explicitly improve the property. Theoretically, we demonstrate that the $R^2$ framework relaxes the conventional full-sharing assumption in multi-task learning, allowing for partially shared structures, and that SIP can improve the convergence rate of the excess risk bound. Extensive simulation studies validate the empirical performance of our framework, and applications to two real-world datasets further confirm its superiority over existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google