Average Token Delay: A Duration-aware Latency Metric for Simultaneous Translation

要約

同時翻訳は、入力音声セグメントが終了する前に翻訳を開始するタスクです。
その評価は品質だけでなくレイテンシーにも基づいて行われるべきであり、ユーザーにとってはレイテンシーはできるだけ小さいことが望ましいです。
既存のメトリクスのほとんどは、部分翻訳の開始タイミングに基づいてレイテンシを測定し、その期間を無視します。
つまり、このような指標は、ユーザーの理解とその後の翻訳を遅らせる、長い翻訳出力によって生じる遅延にペナルティを与えないことを意味します。
この研究では、部分翻訳の継続時間に焦点を当てた \emph{Average Token Delay} (ATD) と呼ばれる同時翻訳の新しい遅延評価指標を提案します。
Ear-Voice Span (EVS) に基づいてユーザー側の遅延をシミュレートする分析を通じて、その有効性を実証します。
私たちの実験では、ほとんどの条件下でベースライン レイテンシー メトリクスの中で ATD が EVS と最も高い相関関係を示しました。

要約(オリジナル)

Simultaneous translation is a task in which the translation begins before the end of an input speech segment. Its evaluation should be conducted based on latency in addition to quality, and for users, the smallest possible amount of latency is preferable. Most existing metrics measure latency based on the start timings of partial translations and ignore their duration. This means such metrics do not penalize the latency caused by long translation output, which delays the comprehension of users and subsequent translations. In this work, we propose a novel latency evaluation metric for simultaneous translation called \emph{Average Token Delay} (ATD) that focuses on the duration of partial translations. We demonstrate its effectiveness through analyses simulating user-side latency based on Ear-Voice Span (EVS). In our experiment, ATD had the highest correlation with EVS among baseline latency metrics under most conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google