Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings

要約

この研究では、教師なしエンコーディング タスクでトレーニングされた残差再帰型ネットワークを使用して、可逆文埋め込みの新しいモデルを提示します。
ニューラル機械翻訳モデルに共通する確率的出力ではなく、回帰ベースの出力レイヤーを使用して、入力シーケンスの単語ベクトルを再構築します。
このモデルは、ADAM オプティマイザーを使用して高精度で高速なトレーニングを実現します。これは、RNN が通常 LSTM などのメモリ ユニットまたは二次最適化手法を必要とすることを考えると、重要な発見です。
残差接続を組み込み、勾配が間違った単語に対してのみ計算される「マッチ ドロップ」手法を導入します。
私たちのアプローチは、特に高品質の文の埋め込みを必要とするニューラル ネットワーク ベースのシステムにおいて、さまざまな自然言語処理アプリケーションの可能性を示しています。

要約(オリジナル)

This study presents a novel model for invertible sentence embeddings using a residual recurrent network trained on an unsupervised encoding task. Rather than the probabilistic outputs common to neural machine translation models, our approach employs a regression-based output layer to reconstruct the input sequence’s word vectors. The model achieves high accuracy and fast training with the ADAM optimizer, a significant finding given that RNNs typically require memory units, such as LSTMs, or second-order optimization methods. We incorporate residual connections and introduce a ‘match drop’ technique, where gradients are calculated only for incorrect words. Our approach demonstrates potential for various natural language processing applications, particularly in neural network-based systems that require high-quality sentence embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google