Regular-pattern-sensitive CRFs for Distant Label Interactions

要約

LLMはシーケンスラベル付けで一般的に成長しましたが、線形鎖条件付きランダムフィールド（CRF）は、ラベル間の相互作用を直接モデル化する機能を備えた一般的な代替手段であり続けています。
ただし、マルコフの仮定は、隣接するラベル間の相互作用の直接モデリングのみを％に制限します。
対照的に、加重有限状態トランスデューサー（FSTS）は、遠いラベルをモデル化できます – ラベル相互作用は、正確なラベルの推論は一般的には手に負えないものです。
この作業では、ユーザー指定パターンを介して長距離ラベル相互作用を学習する機能を備えた標準の線形鎖CRFを濃縮する方法である、通常のパターン感受性CRF（RPCRF）を提示します。
このアプローチにより、ユーザーは、モデルが考慮すべき相互作用の種類を簡潔に指定し、モデルがこれらのパターンが発生するかどうか、どのようなコンテキストで発生するかをデータから学習できるように、定期的な発現ラベルパターンを簡潔に指定することができます。
結果は、追加の非ローカル電位で増強されたCRFとして、または構造が簡単に解釈できるパターンのセットによって定義される有限状態トランスデューサーとして、代わりに解釈できます。
重大なことに、正確なトレーニングと推論は、多くのパターンセットで扱いやすいです。
RPCRFをユーザー指定パターンのセットから自動的に構築する方法を詳しく説明し、3つの合成シーケンスモデリングデータセットのシーケンスでモデルの有効性を実証します。

要約(オリジナル)

While LLMs have grown popular in sequence labeling, linear-chain conditional random fields (CRFs) remain a popular alternative with the ability to directly model interactions between labels. However, the Markov assumption limits them to % only directly modeling interactions between adjacent labels. Weighted finite-state transducers (FSTs), in contrast, can model distant label–label interactions, but exact label inference is intractable in general. In this work, we present regular-pattern-sensitive CRFs (RPCRFs), a method of enriching standard linear-chain CRFs with the ability to learn long-distance label interactions through user-specified patterns. This approach allows users to write regular-expression label patterns concisely specifying which types of interactions the model should take into account, allowing the model to learn from data whether and in which contexts these patterns occur. The result can be interpreted alternatively as a CRF augmented with additional, non-local potentials, or as a finite-state transducer whose structure is defined by a set of easily-interpretable patterns. Critically, exact training and inference are tractable for many pattern sets. We detail how an RPCRF can be automatically constructed from a set of user-specified patterns, and demonstrate the model’s effectiveness on a sequence of three synthetic sequence modeling datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google