Let’s Fuse Step by Step: A Generative Fusion Decoding Algorithm with LLMs for Multi-modal Text Recognition

要約

私たちは、大規模言語モデル (LLM) を自動音声認識 (ASR) や光学式文字認識 (OCR) などのマルチモーダル テキスト認識システムに統合するために利用される、新しい浅い融合フレームワークである「生成融合デコーディング」 (GFD) を紹介します。
テキスト トークン スペースをバイト トークン スペースにマッピングすることで、GFD が異なるモデルの不一致トークン スペース間で動作できるようにするために必要な式を導き出し、デコード プロセス中のシームレスな融合を可能にします。
このフレームワークはプラグアンドプレイであり、さまざまな自動回帰モデルと互換性があり、特徴の調整のための再トレーニングを必要としないため、以前の融合技術の制限が克服されます。
GFD の 3 つの主な利点を強調します。 まず、GFD は、さまざまなモデルのサンプル空間を調整する複雑さを簡素化することで、LLM が認識モデルと並行してエラーを修正できるようにし、計算の待ち時間を短縮します。
第 2 に、LLM のコンテキスト内学習能力が GFD によって最大限に活用され、長い形式の音声認識と命令を意識した音声認識の堅牢性が向上します。
第三に、GFD により、中国語のテキスト認識が不十分な認識モデルと、中国語について広範にトレーニングされた LLM との融合が可能になります。
私たちの評価では、GFD が ASR および OCR タスクのパフォーマンスを大幅に向上させ、ASR が NTUML2021 ベンチマークで最先端の水準に達していることが実証されました。
GFD はモデル統合において大きな前進をもたらし、ステップバイステップの融合を通じて既存の事前トレーニング済みモデルを活用するために広く適用できる統合ソリューションを提供します。

要約(オリジナル)

We introduce ‘Generative Fusion Decoding’ (GFD), a novel shallow fusion framework, utilized to integrate Large Language Models (LLMs) into multi-modal text recognition systems such as automatic speech recognition (ASR) and optical character recognition (OCR). We derive the formulas necessary to enable GFD to operate across mismatched token spaces of different models by mapping text token space to byte token space, enabling seamless fusion during the decoding process. The framework is plug-and-play, compatible with various auto-regressive models, and does not require re-training for feature alignment, thus overcoming limitations of previous fusion techniques. We highlight three main advantages of GFD: First, by simplifying the complexity of aligning different model sample spaces, GFD allows LLMs to correct errors in tandem with the recognition model, reducing computation latencies. Second, the in-context learning ability of LLMs is fully capitalized by GFD, increasing robustness in long-form speech recognition and instruction aware speech recognition. Third, GFD enables fusing recognition models deficient in Chinese text recognition with LLMs extensively trained on Chinese. Our evaluation demonstrates that GFD significantly improves performance in ASR and OCR tasks, with ASR reaching state-of-the-art in the NTUML2021 benchmark. GFD provides a significant step forward in model integration, offering a unified solution that could be widely applicable to leveraging existing pre-trained models through step by step fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google