Ensemble Mask Networks

要約

$\mathbb{R}^n\rightarrow \mathbb{R}^n$ フィードフォワード ネットワークは行列とベクトルの乗算を学習できますか?
この研究では、行列入力を取得する柔軟なマスキングと、マスクの依存構造を尊重する独自のネットワーク プルーニングという 2 つのメカニズムを導入しています。
ネットワークは、行列とベクトルの乗算 $\phi(A,x) \rightarrow Ax$ などの固定演算を近似することができ、グラフベースのモデルにおける依存関係や相互作用の順序をリトマス試験紙のようにテストするために、アプリケーションに導入されたメカニズムを動機づけます。

要約(オリジナル)

Can an $\mathbb{R}^n\rightarrow \mathbb{R}^n$ feedforward network learn matrix-vector multiplication? This study introduces two mechanisms – flexible masking to take matrix inputs, and a unique network pruning to respect the mask’s dependency structure. Networks can approximate fixed operations such as matrix-vector multiplication $\phi(A,x) \rightarrow Ax$, motivating the mechanisms introduced with applications towards litmus-testing dependencies or interaction order in graph-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google