How ‘Real’ is Your Real-Time Simultaneous Speech-to-Text Translation System?

要約

音声テキスト同時翻訳 (SimulST) は、話者の発話と同時にソース言語の音声をターゲット言語のテキストに翻訳し、待ち時間を短縮してユーザーの理解を向上させます。
制限のない音声への応用が意図されているにもかかわらず、ほとんどの研究は人間の事前に分割された音声に焦点を当てており、タスクが単純化され、重大な課題が見落とされています。
この狭い焦点は、広範な用語の不一致と相まって、研究成果の実世界への応用を制限し、最終的にはこの分野の進歩を妨げています。
110 件の論文に関する私たちの広範な文献レビューは、現在の研究におけるこれらの重要な問題を明らかにするだけでなく、私たちの主要な貢献の基礎としても役立ちます。
私たちは 1) SimulST システムのステップとコアコンポーネントを定義し、標準化された用語と分類を提案します。
2) コミュニティの傾向を徹底的に分析し、3) より現実的で効果的な SimulST ソリューションに向けてこの分野を前進させるために、評価フレームワークからシステム アーキテクチャに至るまで、既存の文献のギャップを埋めるための具体的な推奨事項と将来の方向性を提供します。

要約(オリジナル)

Simultaneous speech-to-text translation (SimulST) translates source-language speech into target-language text concurrently with the speaker’s speech, ensuring low latency for better user comprehension. Despite its intended application to unbounded speech, most research has focused on human pre-segmented speech, simplifying the task and overlooking significant challenges. This narrow focus, coupled with widespread terminological inconsistencies, is limiting the applicability of research outcomes to real-world applications, ultimately hindering progress in the field. Our extensive literature review of 110 papers not only reveals these critical issues in current research but also serves as the foundation for our key contributions. We 1) define the steps and core components of a SimulST system, proposing a standardized terminology and taxonomy; 2) conduct a thorough analysis of community trends, and 3) offer concrete recommendations and future directions to bridge the gaps in existing literature, from evaluation frameworks to system architectures, for advancing the field towards more realistic and effective SimulST solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google