Transforming LLMs into Cross-modal and Cross-lingual Retrieval Systems

要約

大規模言語モデル (LLM) は、音声データとテキスト データのペアを含む言語をはるかに超えたテキストのみのデータでトレーニングされます。
同時に、デュアル エンコーダ (DE) ベースの検索システムは、クエリとドキュメントを同じ埋め込み空間に投影し、検索とバイテキスト マイニングでの成功を実証しています。
多くの言語の音声とテキストを照合するには、LLM を使用してマルチモーダル DE 検索システムを初期化することを提案します。
従来の方法とは異なり、私たちのシステムは LLM の事前トレーニング中に音声データを必要とせず、LLM の多言語テキスト理解機能を利用して、検索トレーニング中に表示されない言語の音声とテキストを照合できます。
当社のマルチモーダル LLM ベースの検索システムは、トレーニングが 21 言語のみであるにもかかわらず、102 言語の音声とテキストを照合できます。
私たちのシステムは、102 言語すべてについて明示的にトレーニングされた以前のシステムよりも優れたパフォーマンスを発揮します。
これらの言語全体で平均すると、Recall@1 で 10% の絶対的な改善を達成しました。
さらに、私たちのモデルは言語を超えた音声とテキストのマッチングを実証しており、これはすぐに利用できる機械翻訳データによってさらに強化されます。

要約(オリジナル)

Large language models (LLMs) are trained on text-only data that go far beyond the languages with paired speech and text data. At the same time, Dual Encoder (DE) based retrieval systems project queries and documents into the same embedding space and have demonstrated their success in retrieval and bi-text mining. To match speech and text in many languages, we propose using LLMs to initialize multi-modal DE retrieval systems. Unlike traditional methods, our system doesn’t require speech data during LLM pre-training and can exploit LLM’s multilingual text understanding capabilities to match speech and text in languages unseen during retrieval training. Our multi-modal LLM-based retrieval system is capable of matching speech and text in 102 languages despite only training on 21 languages. Our system outperforms previous systems trained explicitly on all 102 languages. We achieve a 10% absolute improvement in Recall@1 averaged across these languages. Additionally, our model demonstrates cross-lingual speech and text matching, which is further enhanced by readily available machine translation data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google