Deep Model Compression Also Helps Models Capture Ambiguity

要約

自然言語理解 (NLU) タスクは、ラベルの信憑性についてアノテーター間で議論の余地がある、大量のあいまいなサンプルに直面します。
したがって、NLU モデルはそのような曖昧さを考慮する必要がありますが、人間の意見分布の近似が非常に不十分であり、自信過剰な予測を生成する傾向があります。
この問題に対処するには、各サンプルとその候補クラスの間の関係の程度を正確に把握する方法を検討する必要があります。
この研究では、深いモデル圧縮を使用した新しい方法を提案し、そのような関係をどのように説明できるかを示します。
より合理的に表現された関係が下位層で発見され、検証精度がこれらの層で収束しており、それが自然に層の枝刈りにつながることがわかります。
また、下位層から関係性の知識を抽出すると、モデルがより適切な分布を生成するのに役立つこともわかります。
実験結果は、私たちの方法が金分布ラベルを使用せずに曖昧さを定量化する点で大幅な改善をもたらすことを示しています。
プラスの副作用として、私たちの方法はモデル サイズを大幅に削減し、レイテンシーを改善することがわかりました。これはどちらも NLU 製品の魅力的な側面です。

要約(オリジナル)

Natural language understanding (NLU) tasks face a non-trivial amount of ambiguous samples where veracity of their labels is debatable among annotators. NLU models should thus account for such ambiguity, but they approximate the human opinion distributions quite poorly and tend to produce over-confident predictions. To address this problem, we must consider how to exactly capture the degree of relationship between each sample and its candidate classes. In this work, we propose a novel method with deep model compression and show how such relationship can be accounted for. We see that more reasonably represented relationships can be discovered in the lower layers and that validation accuracies are converging at these layers, which naturally leads to layer pruning. We also see that distilling the relationship knowledge from a lower layer helps models produce better distribution. Experimental results demonstrate that our method makes substantial improvement on quantifying ambiguity without gold distribution labels. As positive side-effects, our method is found to reduce the model size significantly and improve latency, both attractive aspects of NLU products.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google