Conditional and Residual Methods in Scalable Coding for Humans and Machines

要約

タイトル：人と機械にとってスケーラブルなコーディングにおける条件付きおよび残差法

要約：

– スケーラブルなコーディングにおいて、条件付きコーディングと残差コーディングの方法を提供する。
– コンピュータビジョンタスクの情報を利用して、再構成タスクのレート・ディストーション性能を最適化することに焦点を当てる。
– 両方の手法について情報分析を含め、ベースラインを提供し、以前の作業と同様のトラクタビリティを持つ増加モデルに適したエントロピーモデルを提案する。
– これらの方法を画像再構成に適用し、一方ではCityscapesデータセットで意味的セグメンテーションのために作成された表現を、もう一方ではCOCOデータセットで物体検出のために作成された表現を使用する。
– 両実験で、条件付き方法と残差方法の間で類似の性能を得ることができ、その結果得られたレート・ディストーション曲線はベースラインに含まれる。

要約(オリジナル)

We present methods for conditional and residual coding in the context of scalable coding for humans and machines. Our focus is on optimizing the rate-distortion performance of the reconstruction task using the information available in the computer vision task. We include an information analysis of both approaches to provide baselines and also propose an entropy model suitable for conditional coding with increased modelling capacity and similar tractability as previous work. We apply these methods to image reconstruction, using, in one instance, representations created for semantic segmentation on the Cityscapes dataset, and in another instance, representations created for object detection on the COCO dataset. In both experiments, we obtain similar performance between the conditional and residual methods, with the resulting rate-distortion curves contained within our baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI