TreePiece: Faster Semantic Parsing via Tree Tokenization

要約

自己回帰 (AR) エンコーダー/デコーダー ニューラル ネットワークは、セマンティック パーシング (自然言語を機械可読の解析ツリーに変換するタスク) など、多くの NLP 問題で成功を収めています。
ただし、AR モデルの順次予測プロセスは遅くなる可能性があります。
セマンティック解析の AR を高速化するために、解析ツリーをサブツリーにトークン化し、デコード ステップごとに 1 つのサブツリーを生成する TreePiece と呼ばれる新しい手法を導入します。
TopV2 ベンチマークでは、TreePiece は標準の AR よりも 4.6 倍速いデコード速度を示し、同等の速度ですが、非自己回帰 (NAR) と比較して大幅に高い精度を示しています。

要約(オリジナル)

Autoregressive (AR) encoder-decoder neural networks have proved successful in many NLP problems, including Semantic Parsing — a task that translates natural language to machine-readable parse trees. However, the sequential prediction process of AR models can be slow. To accelerate AR for semantic parsing, we introduce a new technique called TreePiece that tokenizes a parse tree into subtrees and generates one subtree per decoding step. On TopV2 benchmark, TreePiece shows 4.6 times faster decoding speed than standard AR, and comparable speed but significantly higher accuracy compared to Non-Autoregressive (NAR).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google