Beam Tree Recursive Cells

要約

我々は、潜在構造誘導のためのビーム探索を備えた再帰ニューラル ネットワーク (RvNN) を拡張するバックプロパゲーションに適したフレームワークであるビーム ツリー再帰セル (BT-Cell) を提案します。
我々は、勾配信号の伝播を改善するためにビーム探索におけるハードトップ k 演算子の緩和を提案することで、このフレームワークをさらに拡張します。
私たちは、合成データと現実データの両方で、さまざまな分布外分割で提案したモデルを評価します。
私たちの実験では、BTCell が、他の RvNN ベースのモデルと比較して現実的なデータで同等のパフォーマンスを維持しながら、ListOps や論理推論などのいくつかの困難な構造に依存する合成タスクでほぼ完璧なパフォーマンスを達成することが示されています。
さらに、ListOps の目に見えない数の引数への一般化におけるニューラル モデルのこれまで知られていなかった失敗ケースを特定します。
コードは https://github.com/JRC1995/BeamTreeRecursiveCells から入手できます。

要約(オリジナル)

We propose Beam Tree Recursive Cell (BT-Cell) – a backpropagation-friendly framework to extend Recursive Neural Networks (RvNNs) with beam search for latent structure induction. We further extend this framework by proposing a relaxation of the hard top-k operators in beam search for better propagation of gradient signals. We evaluate our proposed models in different out-of-distribution splits in both synthetic and realistic data. Our experiments show that BTCell achieves near-perfect performance on several challenging structure-sensitive synthetic tasks like ListOps and logical inference while maintaining comparable performance in realistic data against other RvNN-based models. Additionally, we identify a previously unknown failure case for neural models in generalization to unseen number of arguments in ListOps. The code is available at: https://github.com/JRC1995/ BeamTreeRecursiveCells.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google