Embodied Image Quality Assessment for Robotic Intelligence

要約

ユーザー生成コンテンツ (UGC) の画質評価 (IQA) は、人間の体験の質 (QoE) にとって重要な技術です。
しかし、ロボット生成コンテンツ (RGC) の場合、その画質はモラベックのパラドックスと一致し、人間の常識に反するでしょうか?
人間の主観的な採点は、画像の魅力に基づいています。
身体化されたエージェントは、環境内で対話および認識し、最終的に特定のタスクを実行する必要があります。
入力としてのビジュアルイメージは、下流のタスクに直接影響します。
この論文では、まず具体化された画質評価 (EIQA) フレームワークを提案します。
ロボットの下流タスクに基づいて入力画像の評価指標を確立します。
さらに、5,000 の参照および歪んだ画像の注釈を含む Embodied Preference Database (EPD) を構築します。
EPD データセットに対する主流の IQA アルゴリズムのパフォーマンスが最終的に検証されました。
この実験は、具体化された画像の品質評価が人間の品質評価とは異なることを示しています。
EPDが画質評価を中心に身体性AIの発展に貢献できることを心より願っております。
ベンチマークは https://github.com/Jianbo-maker/EPD_benchmark で入手できます。

要約(オリジナル)

Image quality assessment (IQA) of user-generated content (UGC) is a critical technique for human quality of experience (QoE). However, for robot-generated content (RGC), will its image quality be consistent with the Moravec paradox and counter to human common sense? Human subjective scoring is more based on the attractiveness of the image. Embodied agent are required to interact and perceive in the environment, and finally perform specific tasks. Visual images as inputs directly influence downstream tasks. In this paper, we first propose an embodied image quality assessment (EIQA) frameworks. We establish assessment metrics for input images based on the downstream tasks of robot. In addition, we construct an Embodied Preference Database (EPD) containing 5,000 reference and distorted image annotations. The performance of mainstream IQA algorithms on EPD dataset is finally verified. The experiments demonstrate that quality assessment of embodied images is different from that of humans. We sincerely hope that the EPD can contribute to the development of embodied AI by focusing on image quality assessment. The benchmark is available at https://github.com/Jianbo-maker/EPD_benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google