The Road to Quality is Paved with Good Revisions: A Detailed Evaluation Methodology for Revision Policies in Incremental Sequence Labelling

要約

インクリメンタルダイアログモデルコンポーネントは、受信入力に基づいて一連の出力プレフィックスを生成します。
局所的な曖昧さまたは間違った仮説によって間違いが発生する可能性があるため、過去の出力を修正する機能は、ポリシーによって管理できる望ましい特性となります。
この研究では、増分シーケンスのラベル付けにおける編集と改訂を形式化して特徴付け、改訂ポリシーを評価するための指標を提案します。
次に、私たちの方法論を適用して、さまざまなタスクにおける 3 つの Transformer ベースのエンコーダーの増分動作をプロファイリングし、より良いリビジョン ポリシーへの道を切り開きます。

要約(オリジナル)

Incremental dialogue model components produce a sequence of output prefixes based on incoming input. Mistakes can occur due to local ambiguities or to wrong hypotheses, making the ability to revise past outputs a desirable property that can be governed by a policy. In this work, we formalise and characterise edits and revisions in incremental sequence labelling and propose metrics to evaluate revision policies. We then apply our methodology to profile the incremental behaviour of three Transformer-based encoders in various tasks, paving the road for better revision policies.

arxiv情報

著者 Brielen Madureira,Patrick Kahardipraja,David Schlangen
発行日 2023-07-28 12:08:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク