Physics-Informed Computer Vision: A Review and Perspectives

要約

機械学習フレームワークに物理情報を組み込むことで、多くのアプリケーション領域が開かれ、変革されています。
ここでは、基本的な知識と支配的な物理法則の導入を通じて学習プロセスが強化されます。
この研究では、視覚データの解釈と理解におけるコンピュータ ビジョン タスクにおけるそれらの有用性を探ります。
物理法則に基づいたコンピューター ビジョン タスク (物理情報に基づいたコンピューター ビジョン) の定式化とアプローチに関する体系的な文献レビューを紹介します。
まず、一般的なコンピューター ビジョン パイプラインをステージの分類に分解し、各ステージに支配的な物理方程式を組み込むアプローチを調査します。
各タスクの既存のアプローチは、統合のためにどのような支配的な物理プロセスがモデル化されているか、およびそれらがどのように組み込まれるように定式化されているかに関して分析されます。つまり、データの変更 (観察バイアス)、ネットワークの変更 (帰納的バイアス)、および損失の変更 (学習バイアス) です。
物理的なルールも含まれます。
この分類法は、物理学に基づいた機能のアプリケーションに関する統一的なビューを提供し、物理学に基づいた機械学習がどこで実施され、どこにギャップや機会があるかを強調します。
最後に、将来の研究手段に役立つ未解決の問題と課題を強調します。
物理学に基づいたコンピュータ ビジョンの研究はまだ初期段階にありますが、より現実的なアプリケーションにおける物理的な妥当性、精度、データ効率、一般化を向上させることができる、より優れたコンピュータ ビジョン モデルを開発することが期待されています。

要約(オリジナル)

Incorporation of physical information in machine learning frameworks are opening and transforming many application domains. Here the learning process is augmented through the induction of fundamental knowledge and governing physical laws. In this work we explore their utility for computer vision tasks in interpreting and understanding visual data. We present a systematic literature review of formulation and approaches to computer vision tasks guided by physical laws, known as physics-informed computer vision. We begin by decomposing the popular computer vision pipeline into a taxonomy of stages and investigate approaches to incorporate governing physical equations in each stage. Existing approaches in each task are analyzed with regard to what governing physical processes are modeled for integration and how they are formulated to be incorporated, i.e. modify data (observation bias), modify networks (inductive bias), and modify losses (learning bias) to include physical rules. The taxonomy offers a unified view of the application of the physics-informed capability, highlighting where physics-informed machine learning has been conducted and where the gaps and opportunities are. Finally, we highlight open problems and challenges to inform future research avenues. While still in its early days, the study of physics-informed computer vision has the promise to develop better computer vision models that can improve physical plausibility, accuracy, data efficiency and generalization in increasingly realistic applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google