FRMDN: Flow-based Recurrent Mixture Density Network

要約

タイトル：FRMDN：フローをベースにした再帰的混合密度ネットワーク

要約：
– 再帰型混合密度ネットワークは、シーケンスモデリングやシーケンス対シーケンスマッピングアプリケーションで広く使用される重要な確率モデルのクラスです。
– このモデルのクラスでは、各時間ステップでのターゲットシーケンスの密度は、再帰ニューラルネットワークによって与えられるパラメータを持つガウス混合モデルでモデル化されます。
– 本稿では、各時間ステップで非線形に変換されたターゲットシーケンスにガウス混合モデルを定義することで、再帰型混合密度ネットワークを一般化します。
– 非線形変換空間はフロー正規化によって作成されます。
– 本研究では、このモデルがログ尤度によって測定される画像シーケンスの適合度を大幅に改善することが観察されました。
– また、提案されたモデルをいくつかの音声と画像データに適用し、ログ尤度に関して他の最先端の方法よりも顕著なモデリング能力を持つことが観察されました。

要約(オリジナル)

The class of recurrent mixture density networks is an important class of probabilistic models used extensively in sequence modeling and sequence-to-sequence mapping applications. In this class of models, the density of a target sequence in each time-step is modeled by a Gaussian mixture model with the parameters given by a recurrent neural network. In this paper, we generalize recurrent mixture density networks by defining a Gaussian mixture model on a non-linearly transformed target sequence in each time-step. The non-linearly transformed space is created by normalizing flow. We observed that this model significantly improves the fit to image sequences measured by the log-likelihood. We also applied the proposed model on some speech and image data, and observed that the model has significant modeling power outperforming other state-of-the-art methods in terms of the log-likelihood.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI