RevUp: Revise and Update Information Bottleneck for Event Representation

要約

外部 (「サイド」) セマンティック知識の存在は、より表現力豊かな計算イベント モデルをもたらすことが示されています。
ノイズが多い、または欠落している可能性のある副次的な情報を使用できるようにするために、半教師あり情報のボトルネックに基づく離散潜在変数モデルを提案します。
補助連続潜在変数と軽量の階層構造を使用して、モデルの離散変数を再パラメーター化します。
私たちのモデルは、観測されたデータと、新しい補助変数によってまだキャプチャされていないオプションのサイド知識との間の相互情報を最小限に抑えるように学習されます。
私たちのアプローチが過去のアプローチを一般化することを理論的に示し、イベントモデリングに関する私たちのアプローチの実証的なケーススタディを行います。
提案された方法が複数のデータセットに対して以前に提案されたアプローチよりも優れていることを示して、強力な経験的実験で理論的結果を裏付けています。

要約(オリジナル)

The existence of external (“side”) semantic knowledge has been shown to result in more expressive computational event models. To enable the use of side information that may be noisy or missing, we propose a semi-supervised information bottleneck-based discrete latent variable model. We reparameterize the model’s discrete variables with auxiliary continuous latent variables and a light-weight hierarchical structure. Our model is learned to minimize the mutual information between the observed data and optional side knowledge that is not already captured by the new, auxiliary variables. We theoretically show that our approach generalizes past approaches, and perform an empirical case study of our approach on event modeling. We corroborate our theoretical results with strong empirical experiments, showing that the proposed method outperforms previous proposed approaches on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google