signwriting-evaluation: Effective Sign Language Evaluation via SignWriting

要約

SignWriting に合わせた自動評価指標の欠如は、手話言語の効果的な転写および翻訳モデルを開発する上で大きな障害となります。
この論文では、\texttt{BLEU} や \texttt{chrF} などの標準メトリクスの適応、SignWriting 画像への \texttt{CLIPScore} の適用、新しいシンボル距離など、SignWriting 用に特別に設計された評価メトリクスの包括的なスイートを紹介します。
私たちのアプローチに特有の指標。
私たちは、単一署名と連続署名を評価する際の明確な課題に取り組み、SignBank コーパス内のスコア分布分析と最近傍検索を通じてメトリクスの有効性を定性的に実証します。
私たちの調査結果は、各指標の長所と限界を明らかにし、SignWriting を使用した将来の進歩のための貴重な洞察を提供します。
この研究は、SignWriting モデルを評価するための重要なツールに貢献し、手話処理分野の進歩を促進します。
私たちのコードは \url{https://github.com/sign-langage-processing/signwriting-evaluation} で入手できます。

要約(オリジナル)

The lack of automatic evaluation metrics tailored for SignWriting presents a significant obstacle in developing effective transcription and translation models for signed languages. This paper introduces a comprehensive suite of evaluation metrics specifically designed for SignWriting, including adaptations of standard metrics such as \texttt{BLEU} and \texttt{chrF}, the application of \texttt{CLIPScore} to SignWriting images, and a novel symbol distance metric unique to our approach. We address the distinct challenges of evaluating single signs versus continuous signing and provide qualitative demonstrations of metric efficacy through score distribution analyses and nearest-neighbor searches within the SignBank corpus. Our findings reveal the strengths and limitations of each metric, offering valuable insights for future advancements using SignWriting. This work contributes essential tools for evaluating SignWriting models, facilitating progress in the field of sign language processing. Our code is available at \url{https://github.com/sign-language-processing/signwriting-evaluation}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google