What changes when you randomly choose BPE merge operations? Not much

要約

タイトル：BPEマージ操作をランダムに選択した場合の変化-あまりありません
要約：
– BPEの3つの単純なランダム変異版を紹介し、マージ操作の選択をランダム化することが下流の機械翻訳タスクにどの程度影響するかを探求する。
– 形態的に豊かな言語への翻訳に焦点を当て、サブワードの選択方法に対して感度を示す仮説を立てる。
– ベイズ線形モデルを用いた分析により、2つの変異版は標準のBPEとほぼ区別がつかない程度の性能を発揮し、別の変異版は予想よりも性能が低下しなかった。
– 標準のBPEが広く使われているものの、それを探求する価値のある興味深い潜在的な変種の宇宙が存在することを示唆する。
– コードは以下から利用可能　https://github.com/bltlab/random-bpe.

要約(オリジナル)

We introduce three simple randomized variants of byte pair encoding (BPE) and explore whether randomizing the selection of merge operations substantially affects a downstream machine translation task. We focus on translation into morphologically rich languages, hypothesizing that this task may show sensitivity to the method of choosing subwords. Analysis using a Bayesian linear model indicates that two of the variants perform nearly indistinguishably compared to standard BPE while the other degrades performance less than we anticipated. We conclude that although standard BPE is widely used, there exists an interesting universe of potential variations on it worth investigating. Our code is available at: https://github.com/bltlab/random-bpe.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI