Approximating CKY with Transformers

要約

タイトル：トランスフォーマーによるCKY近似
要約：
-TransformerモデルがCKYアルゴリズムを近似する能力を調査
-Transformerモデルを使用して、パースを直接予測し、センテンスの長さに対するCKYアルゴリズムの立方依存性を回避
-標準的な句構造解析ベンチマークでは、この方法はCKYを利用した類似のパーサよりも競合力のあるパフォーマンスを発揮し、さらに高速
-ランダムPCFG下での解析の信頼性も評価
-文法がより曖昧になるにつれてパフォーマンスが低下するため、トランスフォーマーがCKYの計算を完全に捉えていないと示唆
-ただし、追加の帰納バイアスを組み込むことが有効であることが明らかになり、チャート表現に関する勾配を使用した新しいアプローチを提案

要約(オリジナル)

We investigate the ability of transformer models to approximate the CKY algorithm, using them to directly predict a parse and thus avoid the CKY algorithm’s cubic dependence on sentence length. We find that on standard constituency parsing benchmarks this approach achieves competitive or better performance than comparable parsers that make use of CKY, while being faster. We also evaluate the viability of this approach for parsing under random PCFGs. Here we find that performance declines as the grammar becomes more ambiguous, suggesting that the transformer is not fully capturing the CKY computation. However, we also find that incorporating additional inductive bias is helpful, and we propose a novel approach that makes use of gradients with respect to chart representations in predicting the parse, in analogy with the CKY algorithm being the subgradient of a partition function variant with respect to the chart.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI