It’s Not a Walk in the Park! Challenges of Idiom Translation in Speech-to-text Systems

要約

イディオムは、個々の構成要素からは推論できない比喩的な意味を持つ単語群として定義される。最近の機械翻訳システムは目覚ましい進歩を遂げているが、イディオムの翻訳は、特に音声テキスト翻訳システムにとって大きな課題であり、このトピックに関する研究はほとんど行われていない。本論文では、2つの言語ペア（ドイツ語から英語、ロシア語から英語）において、テキストからテキストへの機械翻訳（MT）と音声からテキストへの翻訳（SLT）の両方で、従来のニュース翻訳と比較したイディオム翻訳を体系的に評価する。最先端のエンドツーエンドSLTシステム（SeamlessM4T SLT-to-text、Whisper Large v3）と、MTシステム（SeamlessM4T SLT-to-text、No Language Left Behind）、大規模言語モデル（DeepSeek、LLaMA）、カスケード接続された代替システムを比較した。その結果、SLTシステムは熟語データで顕著な性能低下を経験し、高レイヤーでも直訳に戻ることが多いのに対して、MTシステムと大規模言語モデルは熟語の扱いに優れていることが明らかになった。これらの結果は、イディオムに特化した戦略とSLTアーキテクチャの内部表現の改善の必要性を強調している。

要約(オリジナル)

Idioms are defined as a group of words with a figurative meaning not deducible from their individual components. Although modern machine translation systems have made remarkable progress, translating idioms remains a major challenge, especially for speech-to-text systems, where research on this topic is notably sparse. In this paper, we systematically evaluate idiom translation as compared to conventional news translation in both text-to-text machine translation (MT) and speech-to-text translation (SLT) systems across two language pairs (German to English, Russian to English). We compare state-of-the-art end-to-end SLT systems (SeamlessM4T SLT-to-text, Whisper Large v3) with MT systems (SeamlessM4T SLT-to-text, No Language Left Behind), Large Language Models (DeepSeek, LLaMA) and cascaded alternatives. Our results reveal that SLT systems experience a pronounced performance drop on idiomatic data, often reverting to literal translations even in higher layers, whereas MT systems and Large Language Models demonstrate better handling of idioms. These findings underscore the need for idiom-specific strategies and improved internal representations in SLT architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL