Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond

要約

薄板スプライン (TPS) は、制御点の動きによる弾性非線形変換の表現を可能にする主要なワープです。
制御ポイントが増加すると、ワープはますます柔軟になりますが、通常は、コンテンツの歪みなどの望ましくない問題によって引き起こされるボトルネックに遭遇します。
このペーパーでは、回転補正、長方形化、ポートレート補正など、単一画像ベースのワーピング タスクにおける TPS の一般的なアプリケーションを検討します。
このボトルネックを打破するために、私たちは結合薄板スプライン モデル (CoupledTPS) を提案します。これは、制御点が制限された複数の TPS を反復結合して、より柔軟で強力な変換を行います。
具体的には、まず、現在の潜在条件に従って新しい制御点を予測する反復検索を設計します。
次に、さまざまな TPS 変換を結合するためのブリッジとしてワーピング フローを提示し、複数のワープによって引き起こされる補間エラーを効果的に排除します。
さらに、手間のかかるアノテーションのコストを考慮して、ラベルのないデータを利用してワーピングの品質を向上させる半教師あり学習スキームを開発します。
これは、ラベルなしデータの検索された制御点とそのグラフィック拡張の間の二重変換を通じて定式化され、暗黙的な修正一貫性制約が生成されます。
最後に、回転補正における半教師ありスキームの利点を示すために、大量のラベルなしデータを収集します。
広範な実験により、回転補正およびそれ以降の既存の最先端 (SoTA) ソリューションに比べて、CoupledTPS の優位性と汎用性が実証されています。
コードとデータは https://github.com/nie-lang/CoupledTPS で入手できます。

要約(オリジナル)

Thin-plate spline (TPS) is a principal warp that allows for representing elastic, nonlinear transformation with control point motions. With the increase of control points, the warp becomes increasingly flexible but usually encounters a bottleneck caused by undesired issues, e.g., content distortion. In this paper, we explore generic applications of TPS in single-image-based warping tasks, such as rotation correction, rectangling, and portrait correction. To break this bottleneck, we propose the coupled thin-plate spline model (CoupledTPS), which iteratively couples multiple TPS with limited control points into a more flexible and powerful transformation. Concretely, we first design an iterative search to predict new control points according to the current latent condition. Then, we present the warping flow as a bridge for the coupling of different TPS transformations, effectively eliminating interpolation errors caused by multiple warps. Besides, in light of the laborious annotation cost, we develop a semi-supervised learning scheme to improve warping quality by exploiting unlabeled data. It is formulated through dual transformation between the searched control points of unlabeled data and its graphic augmentation, yielding an implicit correction consistency constraint. Finally, we collect massive unlabeled data to exhibit the benefit of our semi-supervised scheme in rotation correction. Extensive experiments demonstrate the superiority and universality of CoupledTPS over the existing state-of-the-art (SoTA) solutions for rotation correction and beyond. The code and data will be available at https://github.com/nie-lang/CoupledTPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google