$β$-CapsNet: Learning Disentangled Representation for CapsNet by Information Bottleneck

要約

情報をコンパクトな形式に抽出し、解釈可能な因数分解されたカプセルを学習するように動機付ける情報ボトルネック制約によって、CapsNet の絡み合っていない表現を学習するためのフレームワークを提示します。
私たちの $\beta$-CapsNet フレームワークでは、ハイパーパラメータ $\beta$ を利用してもつれの解消やその他のタスクをトレードオフし、変分推論を利用して情報のボトルネック項を KL ダイバージェンスに変換します。
カプセル。
教師あり学習では、クラスに依存しないマスク ベクトルを使用して、画像クラスに関係なく、バリエーションの種類を総合的に理解します。パラメーター $\beta$ を調整して、もつれの解消、再構成、および分類の間の関係を把握することにより、広範な定量的および定性的な実験を実行します。
パフォーマンス。
さらに、教師なし $\beta$-CapsNet および対応する動的ルーティング アルゴリズムは、教師なし方法でもつれを解くカプセルを学習するために提案されています。広範な経験的評価は、私たちの $\beta$-CapsNet が最先端のもつれ解消性能を達成することを示唆しています。
監視シーンと監視されていないシーンの両方で、複数の複雑なデータセットの CapsNet およびさまざまなベースラインに適用されます。

要約(オリジナル)

We present a framework for learning disentangled representation of CapsNet by information bottleneck constraint that distills information into a compact form and motivates to learn an interpretable factorized capsule. In our $\beta$-CapsNet framework, hyperparameter $\beta$ is utilized to trade-off disentanglement and other tasks, variational inference is utilized to convert the information bottleneck term into a KL divergence that is approximated as a constraint on the mean of the capsule. For supervised learning, class independent mask vector is used for understanding the types of variations synthetically irrespective of the image class, we carry out extensive quantitative and qualitative experiments by tuning the parameter $\beta$ to figure out the relationship between disentanglement, reconstruction and classfication performance. Furthermore, the unsupervised $\beta$-CapsNet and the corresponding dynamic routing algorithm is proposed for learning disentangled capsule in an unsupervised manner, extensive empirical evaluations suggest that our $\beta$-CapsNet achieves state-of-the-art disentanglement performance compared to CapsNet and various baselines on several complex datasets both in supervision and unsupervised scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google