The 2022 NIST Language Recognition Evaluation

要約

2022 年、米国国立標準技術研究所 (NIST) は、言語認識の研究を促進し、最先端の技術を測定するために、1996 年以来 NIST によって管理されている継続的なシリーズで最新の言語認識評価 (LRE) を実施しました。
以前の LRE と同様に、LRE22 は会話型電話音声 (CTS) とブロードキャスト ナローバンド音声 (BNBS) データに焦点を当てていました。
LRE22 では、リソースの少ない言語を含むアフリカの言語に重点を置いたり、より長い録音からランダムにサンプリングおよび抽出された 3 ～ 35 秒の音声を含むセグメントで構成されるテスト セットなど、新しい評価機能も導入されました。
合計 21 の研究機関、16 チームがこの 3 か月にわたる評価に参加し、合計 65 の有効なシステムが評価対象として提出されました。
このホワイト ペーパーでは、LRE22 の概要と、さまざまな評価条件でのシステム パフォーマンスの分析について説明します。
評価結果は、オロモとティグリニャが検出しやすい一方で、コーサとズールーがより困難であることを示唆しています。
一部の言語ペアでは、より大きな混乱が見られます。
発話時間が増加すると、システム パフォーマンスは特定の時間まで大幅に増加し、その後、システム パフォーマンスの減少が観察されます。

要約(オリジナル)

In 2022, the U.S. National Institute of Standards and Technology (NIST) conducted the latest Language Recognition Evaluation (LRE) in an ongoing series administered by NIST since 1996 to foster research in language recognition and to measure state-of-the-art technology. Similar to previous LREs, LRE22 focused on conversational telephone speech (CTS) and broadcast narrowband speech (BNBS) data. LRE22 also introduced new evaluation features, such as an emphasis on African languages, including low resource languages, and a test set consisting of segments containing between 3s and 35s of speech randomly sampled and extracted from longer recordings. A total of 21 research organizations, forming 16 teams, participated in this 3-month long evaluation and made a total of 65 valid system submissions to be evaluated. This paper presents an overview of LRE22 and an analysis of system performance over different evaluation conditions. The evaluation results suggest that Oromo and Tigrinya are easier to detect while Xhosa and Zulu are more challenging. A greater confusability is seen for some language pairs. When speech duration increased, system performance significantly increased up to a certain duration, and then a diminishing return on system performance is observed afterward.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google