Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation

要約

タイトル：コンテキストに応じたニューラル機械翻訳における文の位置のエンコーディング

要約：
– 文章の連続を連結して処理することで、標準のTransformerアーキテクチャを用いてコンテキストに応じた翻訳が可能
– この論文では、連結した文章の位置情報をモデルに明示的に提供するアイデアを検討
– 新しい手法を含め、複数の文の位置情報をトークン表現にエンコードする方法を比較
– 結果として、英語からロシア語への翻訳において、文脈割引損失（Lupo et al., 2022）でトレーニングされた場合、一部の文の位置エンコーディング手法がTransformerに恩恵をもたらすことが示されたが、英語からドイツ語への翻訳では同等の効果は見られなかった
– 提案されたアプローチが効果的である条件を定義するためにより多くの実験が必要である。

要約(オリジナル)

Context-aware translation can be achieved by processing a concatenation of consecutive sentences with the standard Transformer architecture. This paper investigates the intuitive idea of providing the model with explicit information about the position of the sentences contained in the concatenation window. We compare various methods to encode sentence positions into token representations, including novel methods. Our results show that the Transformer benefits from certain sentence position encoding methods on English to Russian translation if trained with a context-discounted loss (Lupo et al., 2022). However, the same benefits are not observed in English to German. Further empirical efforts are necessary to define the conditions under which the proposed approach is beneficial.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI