Regular-pattern-sensitive CRFs for Distant Label Interactions

要約

線形チェーン条件付きランダム場 (CRF) は、異なるラベル間の相互作用のモデル化が重要な場合の配列ラベル付けタスクの一般的なモデル コンポーネントです。
ただし、マルコフの仮定により、線形チェーン CRF は隣接するラベル間の相互作用を直接モデル化することのみに制限されます。
重み付き有限状態トランスデューサー (FST) は、離れたラベル間の相互作用をモデル化するために作成できる関連アプローチですが、一般的な場合、これらのモデルでは正確なラベル推論が困難であり、目的の目的に適したオートマトン構造を選択するタスクが必要です。
インタラクションタイプは実際的な課題を引き起こします。
この研究では、ユーザー指定のパターンで発生する長距離ラベル相互作用を学習する機能を備えた標準線形チェーン CRF を強化する方法である、規則パターン感受性 CRF (RPCRF) を紹介します。
このアプローチにより、ユーザーはモデルが考慮すべきインタラクションのタイプを簡潔に指定する正規表現ラベル パターンを作成できるため、モデルはこれらのパターンが発生するかどうか、またどのコンテキストで発生するかをデータから学習できるようになります。
結果は、追加の非局所ポテンシャルで強化された CRF として、または構造が容易に解釈可能なパターンのセットによって定義される有限状態トランスデューサーとして解釈できます。
重要なことに、FST (および非チェーン CRF) の一般的なケースとは異なり、正確なトレーニングと推論は多くのパターン セットで扱い可能です。
この研究では、ユーザー指定のパターンのセットから RPCRF を自動的に構築する方法を詳しく説明し、合成データに対するモデルの有効性を実証し、さまざまなタイプのパターンがラベル シーケンス内のさまざまな非局所依存構造をどのようにキャプチャできるかを示します。

要約(オリジナル)

Linear-chain conditional random fields (CRFs) are a common model component for sequence labeling tasks when modeling the interactions between different labels is important. However, the Markov assumption limits linear-chain CRFs to only directly modeling interactions between adjacent labels. Weighted finite-state transducers (FSTs) are a related approach which can be made to model distant label-label interactions, but exact label inference is intractable for these models in the general case, and the task of selecting an appropriate automaton structure for the desired interaction types poses a practical challenge. In this work, we present regular-pattern-sensitive CRFs (RPCRFs), a method of enriching standard linear-chain CRFs with the ability to learn long-distance label interactions which occur in user-specified patterns. This approach allows users to write regular-expression label patterns concisely specifying which types of interactions the model should take into account, allowing the model to learn from data whether and in which contexts these patterns occur. The result can be interpreted alternatively as a CRF augmented with additional, non-local potentials, or as a finite-state transducer whose structure is defined by a set of easily-interpretable patterns. Critically, unlike the general case for FSTs (and for non-chain CRFs), exact training and inference are tractable for many pattern sets. In this work, we detail how a RPCRF can be automatically constructed from a set of user-specified patterns, and demonstrate the model’s effectiveness on synthetic data, showing how different types of patterns can capture different nonlocal dependency structures in label sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google