Structure-Aware Path Inference for Neural Finite State Transducers

要約

神経有限状態トランスデューサー (NFST) は、神経記号配列伝達モデルの発現ファミリーを形成します。
NFST は、各文字列ペアを有限状態トランスデューサーの潜在パスによって生成されたものとしてモデル化します。
NFST は深い生成モデルであるため、NFST のトレーニングと推論の両方に、そのような潜在変数にわたる事後分布を近似する推論ネットワークが必要です。
この論文では、入力文字列と出力文字列の特定のペアを説明する潜在的なアライメント パスを代入するという結果として生じる課題に焦点を当てます (トレーニング中など)。
パスの償却推論のために 3 つの自己回帰近似モデルをトレーニングし、重要度サンプリングの提案分布として使用できます。
3 つのモデルはすべて先読みを実行します。
私たちの最も洗練された (そして新しい) モデルは、FST 構造を活用して将来のパスのグラフを検討します。
残念ながら、より単純なアプローチを混乱させるために私たちがでっち上げた人為的なタスクを除いて、それはより単純なアプローチに負けていることがわかります。

要約(オリジナル)

Neural finite-state transducers (NFSTs) form an expressive family of neurosymbolic sequence transduction models. An NFST models each string pair as having been generated by a latent path in a finite-state transducer. As they are deep generative models, both training and inference of NFSTs require inference networks that approximate posterior distributions over such latent variables. In this paper, we focus on the resulting challenge of imputing the latent alignment path that explains a given pair of input and output strings (e.g., during training). We train three autoregressive approximate models for amortized inference of the path, which can then be used as proposal distributions for importance sampling. All three models perform lookahead. Our most sophisticated (and novel) model leverages the FST structure to consider the graph of future paths; unfortunately, we find that it loses out to the simpler approaches — except on an artificial task that we concocted to confuse the simpler approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google