DCID: Deep Canonical Information Decomposition

要約

追加の多変量観測が存在する場合に、2 つの 1 次元ターゲット変数間で共有される信号を識別する問題を検討します。
正準相関分析 (CCA) ベースの手法は、伝統的に共有変数を特定するために使用されてきましたが、これらは多変量ターゲット向けに設計されており、単変量の場合には自明な解決策しか提供しません。
マルチタスク学習 (MTL) のコンテキストでは、複数のタスクにわたってまばらで共有される機能を学習するために、さまざまなモデルが仮定されました。
ただし、これらの方法は通常、予測パフォーマンスによって評価されます。
私たちの知る限り、共有信号を正しく回復するという観点からモデルを体系的に評価した先行研究はありません。
ここでは、一変量共有情報検索の設定を形式化し、学習された共有特徴の 3 つの側面を定量化する、グラウンドトゥルース ラベルの存在下で使用できる評価指標である ICM を提案します。
さらに、共有変数を学習するためのシンプルかつ効果的なアプローチである Deep Canonical Information Decomposition (DCID) を提案します。
既知のグラウンドトゥルースを使用して合成データのさまざまなシナリオでモデルのベンチマークを実行し、さまざまな設定で DCID がベースラインを上回るパフォーマンスを観察しました。
最後に、脳磁気共鳴画像法 (MRI) データに対する DCID の実際の応用を実証します。これにより、脳領域の変化と肥満のより正確な予測因子を抽出できるようになります。
実験のコードと補足資料は、https://github.com/alexrakowski/dcid で入手できます。

要約(オリジナル)

We consider the problem of identifying the signal shared between two one-dimensional target variables, in the presence of additional multivariate observations. Canonical Correlation Analysis (CCA)-based methods have traditionally been used to identify shared variables, however, they were designed for multivariate targets and only offer trivial solutions for univariate cases. In the context of Multi-Task Learning (MTL), various models were postulated to learn features that are sparse and shared across multiple tasks. However, these methods were typically evaluated by their predictive performance. To the best of our knowledge, no prior studies systematically evaluated models in terms of correctly recovering the shared signal. Here, we formalize the setting of univariate shared information retrieval, and propose ICM, an evaluation metric which can be used in the presence of ground-truth labels, quantifying 3 aspects of the learned shared features. We further propose Deep Canonical Information Decomposition (DCID) – a simple, yet effective approach for learning the shared variables. We benchmark the models on a range of scenarios on synthetic data with known ground-truths and observe DCID outperforming the baselines in a wide range of settings. Finally, we demonstrate a real-life application of DCID on brain Magnetic Resonance Imaging (MRI) data, where we are able to extract more accurate predictors of changes in brain regions and obesity. The code for our experiments as well as the supplementary materials are available at https://github.com/alexrakowski/dcid

arxiv情報

提供元, 利用サービス

arxiv.jp, Google