A Generic Hybrid Framework for 2D Visual Reconstruction

要約

このペーパーでは、正方形で重複しないピースを使用したジグソーパズルの問題（JPP）として定式化された2D現実世界の再構築タスクに対処するための汎用性の高いハイブリッドフレームワークを紹介します。
私たちのアプローチは、伝統的に行われたように隣接するエッジのみに焦点を合わせるのではなく、パズルのペアのペアを全体的に評価するディープラーニング（DL）ベースの互換性測定（CM）モデルを統合します。
このDLベースのCMは、最適化された遺伝的アルゴリズム（GA）ベースのソルバーとペアになっており、パズルピースのペアワイズCMスコアを使用してグローバルな最適な配置を繰り返し検索します。
広範な実験結果は、複数の現実世界ドメインにわたるフレームワークの適応性と堅牢性を強調しています。
特に、当社のユニークなハイブリッド方法論は、最先端の（SOTA）結果を達成し、侵食された境界でポルトガルのタイルパネルと大きな劣化したパズルを再構築します。

要約(オリジナル)

This paper presents a versatile hybrid framework for addressing 2D real-world reconstruction tasks formulated as jigsaw puzzle problems (JPPs) with square, non-overlapping pieces. Our approach integrates a deep learning (DL)-based compatibility measure (CM) model that evaluates pairs of puzzle pieces holistically, rather than focusing solely on their adjacent edges as traditionally done. This DL-based CM is paired with an optimized genetic algorithm (GA)-based solver, which iteratively searches for a global optimal arrangement using the pairwise CM scores of the puzzle pieces. Extensive experimental results highlight the framework’s adaptability and robustness across multiple real-world domains. Notably, our unique hybrid methodology achieves state-of-the-art (SOTA) results in reconstructing Portuguese tile panels and large degraded puzzles with eroded boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google