Representation Learning via Variational Bayesian Networks

要約

我々は、変分ベイジアン ネットワーク (VBN) を紹介します。これは、階層的およびリレーショナルなサイド情報を利用する新しいベイジアン エンティティ表現学習モデルであり、データが不足している「ロングテール」におけるエンティティのモデリングに特に役立ちます。
VBN は、2 つの相補的なメカニズムを通じて、ロングテール エンティティのより優れたモデリングを提供します。 まず、VBN は、共通の祖先を共有するエンティティ間の情報伝播を可能にする有益な階層事前分布を採用します。
さらに、VBN は、補完的な構造と一貫性を強化するエンティティ間の明示的な関係をモデル化し、学習された表現を空間内でより意味のある配置に導きます。
第 2 に、VBN はエンティティを (ベクトルではなく) 密度で表現するため、データ不足に対処する際に補完的な役割を果たす不確実性をモデル化します。
最後に、高速な近似ベイズ推論を可能にするスケーラブルな変分ベイズ最適化アルゴリズムを提案します。
言語、推奨、医療推論タスクにおける VBN の有効性を評価します。
私たちの調査結果は、VBN が複数のデータセット、特にロングテールにおいて他の既存の手法よりも優れていることを示しています。

要約(オリジナル)

We present Variational Bayesian Network (VBN) – a novel Bayesian entity representation learning model that utilizes hierarchical and relational side information and is particularly useful for modeling entities in the “long-tail”, where the data is scarce. VBN provides better modeling for long-tail entities via two complementary mechanisms: First, VBN employs informative hierarchical priors that enable information propagation between entities sharing common ancestors. Additionally, VBN models explicit relations between entities that enforce complementary structure and consistency, guiding the learned representations towards a more meaningful arrangement in space. Second, VBN represents entities by densities (rather than vectors), hence modeling uncertainty that plays a complementary role in coping with data scarcity. Finally, we propose a scalable Variational Bayes optimization algorithm that enables fast approximate Bayesian inference. We evaluate the effectiveness of VBN on linguistic, recommendations, and medical inference tasks. Our findings show that VBN outperforms other existing methods across multiple datasets, and especially in the long-tail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google