Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels

要約

オンラインで利用できるビジュアル コンテンツの急増により、さまざまなタイプのビジュアル コンテンツにわたってスコアを確実に評価するための正確な機械評価者の要件が強調されています。
最近の研究では、幅広い関連分野における大規模マルチモダリティ モデル (LMM) の優れた可能性が実証されていますが、この研究では、人間の意見に合わせた視覚評価をモデルに教える方法を探ります。
人間の評価者は主観的な研究において離散的なテキストで定義されたレベルのみを学習および判断することを観察し、この主観的なプロセスをエミュレートし、スコアの代わりにテキストで定義された評価レベルを LMM に教えることを提案します。
提案された Q-Align は、元の LMM 構造の下で、画質評価 (IQA)、画像美的評価 (IAA)、およびビデオ品質評価 (VQA) タスクにおいて最先端のパフォーマンスを実現します。
シラバスでは、3 つのタスクを OneAlign と呼ばれる 1 つのモデルにさらに統合します。
私たちの実験では、LMM の直接スコアベースのバリアントよりも離散レベルベースのシラバスの利点を実証しました。
コードと事前トレーニングされた重みは https://github.com/Q-Future/Q-Align でリリースされています。

要約(オリジナル)

The explosion of visual content available online underscores the requirement for an accurate machine assessor to robustly evaluate scores across diverse types of visual contents. While recent studies have demonstrated the exceptional potentials of large multi-modality models (LMMs) on a wide range of related fields, in this work, we explore how to teach them for visual rating aligned with human opinions. Observing that human raters only learn and judge discrete text-defined levels in subjective studies, we propose to emulate this subjective process and teach LMMs with text-defined rating levels instead of scores. The proposed Q-Align achieves state-of-the-art performance on image quality assessment (IQA), image aesthetic assessment (IAA), as well as video quality assessment (VQA) tasks under the original LMM structure. With the syllabus, we further unify the three tasks into one model, termed the OneAlign. In our experiments, we demonstrate the advantage of the discrete-level-based syllabus over direct-score-based variants for LMMs. Our code and the pre-trained weights are released at https://github.com/Q-Future/Q-Align.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google