Structured Generative Models for Scene Understanding

要約

本論文では、シーン理解における構造化生成モデル(SGM)の利用を提唱している。これは、入力画像から3次元シーンを再構成するもので、画像の内容を、それぞれ種類、形状、外観、姿勢を持つインスタンス化されたオブジェクトのモデルと、シーン照明やカメラパラメータなどのグローバル変数で因果的に説明するものである。また、このアプローチでは、シーン内のオブジェクトの共起や相互関係を説明するシーンモデルが必要となる。SGMアプローチは、構成的かつ生成的であるため、解釈可能であるという利点があります。 SGMを実現するためには、オブジェクトとシーンのモデル、および、推論を行うためのアプローチが必要である。まず、モノのモデルとして、「モノ」（形状が明確に定義されたオブジェクトのカテゴリ）と「モノ」（非定形な空間的広がりを持つカテゴリ）について概説する。次に、オブジェクトの相互関係を記述する「シーンモデル」について説明します。SGMの最も難しい問題は、単一または複数の画像からなる入力から、物体、照明、カメラパラメータ、シーンの相互関係を推論することです。最後に、SGMの課題を前進させるために取り組むべき課題について議論する。

要約(オリジナル)

This position paper argues for the use of \emph{structured generative models} (SGMs) for scene understanding. This requires the reconstruction of a 3D scene from an input image, whereby the contents of the image are causally explained in terms of models of instantiated objects, each with their own type, shape, appearance and pose, along with global variables like scene lighting and camera parameters. This approach also requires scene models which account for the co-occurrences and inter-relationships of objects in a scene. The SGM approach has the merits that it is compositional and generative, which lead to interpretability. To pursue the SGM agenda, we need models for objects and scenes, and approaches to carry out inference. We first review models for objects, which include “things” (object categories that have a well defined shape), and “stuff” (categories which have amorphous spatial extent). We then move on to review \emph{scene models} which describe the inter-relationships of objects. Perhaps the most challenging problem for SGMs is \emph{inference} of the objects, lighting and camera parameters, and scene inter-relationships from input consisting of a single or multiple images. We conclude with a discussion of issues that need addressing to advance the SGM agenda.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL