Lazy-k: Decoding for Constrained Token Classification

要約

私たちは、構造化予測における確率モデルを改善する可能性を探ります。
具体的には、情報抽出のためのトークン分類のコンテキストで、制約付きデコード手法とモデルを組み合わせます。
デコード方法は、総確率を最大化しながら、制約を満たすラベル割り当てを検索します。
これを行うために、いくつかの既存のアプローチを評価し、Lazy-$k$ と呼ばれる新しい復号化方法を提案します。
私たちの調査結果は、制約付きデコード手法により、特に小規模なモデルを使用する場合に、モデルのパフォーマンスが大幅に向上する可能性があることを示しています。
Lazy-$k$ アプローチにより、デコード時間と精度の間でより柔軟な対応が可能になります。
Lazy-$k$ デコードを使用するためのコードは、https://github.com/ArthurDevNL/lazyk にあります。

要約(オリジナル)

We explore the possibility of improving probabilistic models in structured prediction. Specifically, we combine the models with constrained decoding approaches in the context of token classification for information extraction. The decoding methods search for constraint-satisfying label-assignments while maximizing the total probability. To do this, we evaluate several existing approaches, as well as propose a novel decoding method called Lazy-$k$. Our findings demonstrate that constrained decoding approaches can significantly improve the models’ performances, especially when using smaller models. The Lazy-$k$ approach allows for more flexibility between decoding time and accuracy. The code for using Lazy-$k$ decoding can be found here: https://github.com/ArthurDevNL/lazyk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google