Tabular Few-Shot Generalization Across Heterogeneous Feature Spaces

要約

表形式のデータセットが普及しているにもかかわらず、この分野では少数ショット学習はまだ研究されていません。
既存の少数ショット手法は、列の関係、意味、順列不変性が異なるため、表形式のデータセットには直接適用できません。
これらの課題に対処するために、私たちは、異質な特徴空間を持つデータセット間の知識共有を包含する、表形式の少数ショット学習への新しいアプローチである FLAT を提案します。
FLAT は、Dataset2Vec からインスピレーションを得たエンコーダーを利用して、データセットとその個々の列の低次元埋め込みを学習し、これまでに見たことのないデータセットへの知識の伝達と一般化を促進します。
デコーダ ネットワークは、グラフ アテンション ネットワークとして実装された予測ターゲット ネットワークをパラメータ化し、表形式データセットの異質な性質に対応します。
118 個の UCI データセットの多様なコレクションに対する実験では、FLAT が新しい表形式データセットに一般化され、ベースラインから大幅に改善されたことが実証されました。

要約(オリジナル)

Despite the prevalence of tabular datasets, few-shot learning remains under-explored within this domain. Existing few-shot methods are not directly applicable to tabular datasets due to varying column relationships, meanings, and permutational invariance. To address these challenges, we propose FLAT-a novel approach to tabular few-shot learning, encompassing knowledge sharing between datasets with heterogeneous feature spaces. Utilizing an encoder inspired by Dataset2Vec, FLAT learns low-dimensional embeddings of datasets and their individual columns, which facilitate knowledge transfer and generalization to previously unseen datasets. A decoder network parametrizes the predictive target network, implemented as a Graph Attention Network, to accommodate the heterogeneous nature of tabular datasets. Experiments on a diverse collection of 118 UCI datasets demonstrate FLAT’s successful generalization to new tabular datasets and a considerable improvement over the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google