Simple Hardware-Efficient PCFGs with Independent Left and Right Productions

要約

ルール確率テンソルの低ランクパラメータ化を介して高密度 PCFG を数千の非端末にスケーリングすることは、教師なし解析に有益であることが示されています。
ただし、この方法でスケーリングされた PCFG は言語モデルとしてのパフォーマンスが依然として低く、同様のサイズの HMM よりもパフォーマンスが劣ることさえあります。
この研究では、左右の生成が独立した単純な PCFG 形式である \emph{SimplePCFG} を導入します。
低ランクのアプローチよりも強力な独立性の仮定を課しているにもかかわらず、この形式主義は言語モデルとしても教師なしパーサーとしてもより効果的に拡張できることがわかります。
教師なしパーサーとして、私たちの単純な PCFG は英語 PTB で 65.1 の平均 F1 を取得し、言語モデルとしては 119.0 のパープレキシティを取得し、同様のサイズの低ランク PCFG を上回ります。
さらに、単純な PCFG を効率的にスケーリングするための内部アルゴリズムのハードウェア IO 認識実装である \emph{FlashInside} を紹介します。

要約(オリジナル)

Scaling dense PCFGs to thousands of nonterminals via a low-rank parameterization of the rule probability tensor has been shown to be beneficial for unsupervised parsing. However, PCFGs scaled this way still perform poorly as a language model, and even underperform similarly-sized HMMs. This work introduces \emph{SimplePCFG}, a simple PCFG formalism with independent left and right productions. Despite imposing a stronger independence assumption than the low-rank approach, we find that this formalism scales more effectively both as a language model and as an unsupervised parser. As an unsupervised parser, our simple PCFG obtains an average F1 of 65.1 on the English PTB, and as a language model, it obtains a perplexity of 119.0, outperforming similarly-sized low-rank PCFGs. We further introduce \emph{FlashInside}, a hardware IO-aware implementation of the inside algorithm for efficiently scaling simple PCFGs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google