SimulPL: Aligning Human Preferences in Simultaneous Machine Translation

要約

同時機械翻訳（SIMT）は、ストリーミングソース入力を受信しながら翻訳を生成します。
これには、SIMTモデルが読み取り/書き込みポリシーを学習し、いつ翻訳するか、いつより多くのソース入力を待つかを決定する必要があります。
多くの言語研究は、SIMTシナリオの視聴者が正確な翻訳、より単純な構文、不必要なレイテンシなど、明確な好みを持っていることを示しています。
SIMTモデルをこれらの人間の好みに合わせて調整することは、パフォーマンスを改善するために重要です。
しかし、この問題はまだ未開拓のままです。
さらに、SIMTタスクの優先最適化も困難です。
既存の方法は、生成された応答の最適化のみに焦点を当てており、レイテンシに関連する人間の好みと、優先最適化段階での読み取り/書き込みポリシーの最適化を無視します。
これらの課題に対処するために、SIMTタスクに合わせた優先学習フレームワークである同時優先学習（SIMULPL）を提案します。
SIMULPLフレームワークでは、SIMTの人間の好みを5つの側面に分類します。
}。
最初の4つの設定を活用することにより、SIMTタスクの優先データを生成する際にGPT-4/4oを効率的にガイドするために、人間の選好プロンプトを構築します。
優先最適化フェーズでは、SIMULPLは\ TextBF {Latency Preference}を最適化目標に統合し、SIMTモデルが読み取り/書き込みポリシーを改善できるようにし、それにより人間の好みとより効果的に整合します。
実験結果は、Zh $ \ rightArrow $ en、de $ \ rightArrow $ en、およびen $ \ rightArrow $ zh simtタスクのすべてのレイテンシレベルにわたって人間の好みとより良い整合性を示すことを示しています。
データとコードはhttps://github.com/eurekafornlp/simulplで入手できます。

要約(オリジナル)

Simultaneous Machine Translation (SiMT) generates translations while receiving streaming source inputs. This requires the SiMT model to learn a read/write policy, deciding when to translate and when to wait for more source input. Numerous linguistic studies indicate that audiences in SiMT scenarios have distinct preferences, such as accurate translations, simpler syntax, and no unnecessary latency. Aligning SiMT models with these human preferences is crucial to improve their performances. However, this issue still remains unexplored. Additionally, preference optimization for SiMT task is also challenging. Existing methods focus solely on optimizing the generated responses, ignoring human preferences related to latency and the optimization of read/write policy during the preference optimization phase. To address these challenges, we propose Simultaneous Preference Learning (SimulPL), a preference learning framework tailored for the SiMT task. In the SimulPL framework, we categorize SiMT human preferences into five aspects: \textbf{translation quality preference}, \textbf{monotonicity preference}, \textbf{key point preference}, \textbf{simplicity preference}, and \textbf{latency preference}. By leveraging the first four preferences, we construct human preference prompts to efficiently guide GPT-4/4o in generating preference data for the SiMT task. In the preference optimization phase, SimulPL integrates \textbf{latency preference} into the optimization objective and enables SiMT models to improve the read/write policy, thereby aligning with human preferences more effectively. Experimental results indicate that SimulPL exhibits better alignment with human preferences across all latency levels in Zh$\rightarrow$En, De$\rightarrow$En and En$\rightarrow$Zh SiMT tasks. Our data and code will be available at https://github.com/EurekaForNLP/SimulPL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google