Direct Models for Simultaneous Translation and Automatic Subtitling: FBK@IWSLT2023

要約

この文書では、IWSLT 2023 評価キャンペーンの同時翻訳および自動字幕トラックへの FBK の参加について説明します。
私たちの提案では、両方のタスクを実行するための直接アーキテクチャの使用に焦点を当てていました。同時タスクでは、オフラインでトレーニングされたモデルによってすでに取得されている知識を活用し、ポリシーを直接適用してリアルタイム推論を取得しました。
字幕作成については、直接 ST モデルを適応させて整形式の字幕を生成し、同じアーキテクチャを利用して字幕とオーディオビジュアル コンテンツの同期に必要なタイムスタンプを生成しました。
当社の英独 SimulST システムは、2021 年と 2022 年のタスク ラウンドで上位のシステムによって達成されたものと比較して、計算を意識したレイテンシが減少し、最大 3.5 BLEU のゲインが得られました。
当社の自動字幕システムは、直接システムに基づく唯一の既存ソリューションよりも、英語-ドイツ語および英語-スペイン語でそれぞれ 3.7 および 1.7 SubER 優れています。

要約(オリジナル)

This paper describes the FBK’s participation in the Simultaneous Translation and Automatic Subtitling tracks of the IWSLT 2023 Evaluation Campaign. Our submission focused on the use of direct architectures to perform both tasks: for the simultaneous one, we leveraged the knowledge already acquired by offline-trained models and directly applied a policy to obtain the real-time inference; for the subtitling one, we adapted the direct ST model to produce well-formed subtitles and exploited the same architecture to produce timestamps needed for the subtitle synchronization with audiovisual content. Our English-German SimulST system shows a reduced computational-aware latency compared to the one achieved by the top-ranked systems in the 2021 and 2022 rounds of the task, with gains of up to 3.5 BLEU. Our automatic subtitling system outperforms the only existing solution based on a direct system by 3.7 and 1.7 SubER in English-German and English-Spanish respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google