Decodable and Sample Invariant Continuous Object Encoder

要約

私たちは超次元関数符号化 (HDFE) を提案します。
連続オブジェクト (関数など) のサンプルが与えられると、HDFE は、サンプルの分布と密度に対して不変の、与えられたオブジェクトの明示的なベクトル表現を生成します。
サンプル分布と密度の不変性により、HDFE はサンプリングに関係なく連続オブジェクトを一貫してエンコードできるため、ニューラル ネットワークが分類や回帰などの機械学習タスクの入力として連続オブジェクトを受け取ることができます。
さらに、HDFE はトレーニングを必要とせず、オブジェクトを組織化された埋め込み空間にマッピングすることが証明されており、これにより下流タスクのトレーニングが容易になります。
さらに、エンコーディングはデコード可能であるため、ニューラル ネットワークはエンコーディングを回帰することで連続オブジェクトを回帰できます。
したがって、HDFE は連続オブジェクトを処理するためのインターフェイスとして機能します。
HDFE を関数間マッピングに適用すると、バニラ HDFE が最先端のアルゴリズムとして競争力のあるパフォーマンスを実現します。
HDFE を点群表面法線推定に適用すると、PointNet から HDFE に単純に置き換えることで、2 つのベンチマークで即時に 12% および 15% の誤差が削減されます。
さらに、HDFE を PointNet ベースの SOTA ネットワークに統合することにより、同じベンチマークで SOTA ベースラインを 2.5% および 1.7% 改善しました。

要約(オリジナル)

We propose Hyper-Dimensional Function Encoding (HDFE). Given samples of a continuous object (e.g. a function), HDFE produces an explicit vector representation of the given object, invariant to the sample distribution and density. Sample distribution and density invariance enables HDFE to consistently encode continuous objects regardless of their sampling, and therefore allows neural networks to receive continuous objects as inputs for machine learning tasks, such as classification and regression. Besides, HDFE does not require any training and is proved to map the object into an organized embedding space, which facilitates the training of the downstream tasks. In addition, the encoding is decodable, which enables neural networks to regress continuous objects by regressing their encodings. Therefore, HDFE serves as an interface for processing continuous objects. We apply HDFE to function-to-function mapping, where vanilla HDFE achieves competitive performance as the state-of-the-art algorithm. We apply HDFE to point cloud surface normal estimation, where a simple replacement from PointNet to HDFE leads to immediate 12% and 15% error reductions in two benchmarks. In addition, by integrating HDFE into the PointNet-based SOTA network, we improve the SOTA baseline by 2.5% and 1.7% in the same benchmarks.

arxiv情報

著者 Dehao Yuan,Furong Huang,Cornelia Fermüller,Yiannis Aloimonos
発行日 2023-11-21 15:25:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク