Reinforcing Multimodal Understanding and Generation with Dual Self-rewards

要約

大規模な言語モデル（LLMS）に基づいて、最近の大規模なマルチモーダルモデル（LMM）がクロスモデルの理解と生成を単一のフレームワークに統合します。
ただし、LMMは依然として正確な画像テキストアラインメントを達成するのに苦労しており、視覚入力と矛盾するテキスト応答を生成したり、テキストから画像へのプロンプトに従わなかったりする傾向があります。
現在のソリューションでは、外部の監督（たとえば、人間のフィードバックまたは報酬モデル）が必要であり、一方向のタスク（理解または生成）のみに対処する必要があります。
この作業では、理解と生成が逆二重のタスクであるという観察に基づいて、LMMの理解と生成能力を強化するための自己監視された二重報酬メカニズムを導入します。
具体的には、特定の入力の複数の出力を1つのタスクドメインでサンプリングし、入出力ペアを逆にして、モデルのデュアル可能性を最適化のために自己報酬として計算します。
視覚的理解と生成のベンチマークに関する広範な実験結果は、この方法が外部の監督なしでモデルのパフォーマンスを効果的に向上させることができることを示しています。

要約(オリジナル)

Building upon large language models (LLMs), recent large multimodal models (LMMs) unify cross-model understanding and generation into a single framework. However, LMMs still struggle to achieve accurate image-text alignment, prone to generating text responses contradicting the visual input or failing to follow the text-to-image prompts. Current solutions require external supervision (e.g., human feedback or reward models) and only address unidirectional tasks-either understanding or generation. In this work, based on the observation that understanding and generation are inverse dual tasks, we introduce a self-supervised dual reward mechanism to reinforce the understanding and generation capabilities of LMMs. Specifically, we sample multiple outputs for a given input in one task domain, then reverse the input-output pairs to compute the dual likelihood of the model as self-rewards for optimization. Extensive experimental results on visual understanding and generation benchmarks demonstrate that our method can effectively enhance the performance of the model without any external supervision, especially achieving remarkable improvements in text-to-image tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google