Beyond Visual Appearances: Privacy-sensitive Objects Identification via Hybrid Graph Reasoning

要約

プライバシーに敏感なオブジェクト識別 (POI) タスクは、シーン内のプライバシーに敏感なオブジェクトに境界ボックスを割り当てます。
POI の鍵は、オブジェクトのプライバシー クラス (プライバシーに敏感か非プライバシーか) を決定することです。
オブジェクトの視覚的な外観によって決定される従来のオブジェクト クラスとは対照的に、1 つのオブジェクトのプライバシー クラスはシーン コンテキストから導出され、その視覚的な外観を超えたさまざまな暗黙の要因の影響を受けます。
つまり、視覚的に類似したオブジェクトでも、プライバシー クラスではまったく逆になる可能性があります。
シーン コンテキストからオブジェクトのプライバシー クラスを明示的に導出するために、この論文では、シーン内の各オブジェクトのプライバシーを目的とした視覚的推論タスクとして POI タスクを解釈します。
この解釈に従って、POI 用の PrivacyGuard フレームワークを提案します。
PrivacyGuard には 3 つの段階があります。
i) 構造化: 非構造化画像は、まず、豊富なシーン コンテキストを埋め込んだ構造化された異種シーン グラフに変換されます。
ii) データ拡張: シーン グラフ内にわずかに摂動されたプライバシーに敏感なオブジェクトを作成し、それによってプライバシー クラスの偏った分布のバランスをとるために、コンテキスト摂動オーバーサンプリング戦略が提案されています。
iii) ハイブリッド グラフの生成と推論: バランスのとれた異種シーン グラフは、追加の「ノード間」および「エッジ間」の同種パスを与えることによってハイブリッド グラフに変換されます。
これらの均質なパスにより、ノードまたはエッジ間で直接メッセージをやり取りできるため、推論が高速化され、微妙なコンテキストの変化の捕捉が容易になります。
このハイブリッド グラフに基づいて… **完全な要約については、元の論文を参照してください。**

要約(オリジナル)

The Privacy-sensitive Object Identification (POI) task allocates bounding boxes for privacy-sensitive objects in a scene. The key to POI is settling an object’s privacy class (privacy-sensitive or non-privacy-sensitive). In contrast to conventional object classes which are determined by the visual appearance of an object, one object’s privacy class is derived from the scene contexts and is subject to various implicit factors beyond its visual appearance. That is, visually similar objects may be totally opposite in their privacy classes. To explicitly derive the objects’ privacy class from the scene contexts, in this paper, we interpret the POI task as a visual reasoning task aimed at the privacy of each object in the scene. Following this interpretation, we propose the PrivacyGuard framework for POI. PrivacyGuard contains three stages. i) Structuring: an unstructured image is first converted into a structured, heterogeneous scene graph that embeds rich scene contexts. ii) Data Augmentation: a contextual perturbation oversampling strategy is proposed to create slightly perturbed privacy-sensitive objects in a scene graph, thereby balancing the skewed distribution of privacy classes. iii) Hybrid Graph Generation & Reasoning: the balanced, heterogeneous scene graph is then transformed into a hybrid graph by endowing it with extra ‘node-node’ and ‘edge-edge’ homogeneous paths. These homogeneous paths allow direct message passing between nodes or edges, thereby accelerating reasoning and facilitating the capturing of subtle context changes. Based on this hybrid graph… **For the full abstract, see the original paper.**

arxiv情報

提供元, 利用サービス

arxiv.jp, Google