Isometric Transformations for Image Augmentation in Mueller Matrix Polarimetry

要約

ミュラー行列偏光測定は、サンプルと偏光の相互作用に関する重要な情報を捕捉しますが、その独特な構造により、深層学習におけるデータ拡張に特有の課題が生じます。
拡張はデータセットの多様性を高め、過剰適合を軽減するための効果的かつ手頃な方法ですが、回転や反転などの標準的な変換ではミュラー行列画像の偏光特性が維持されません。
この目的を達成するために、物理的に一貫した回転と反転をミュラー行列に適用し、偏光忠実度を維持するように調整された多用途のシミュレーション フレームワークを導入します。
複数のデータセットにわたる実験結果は、従来の拡張が偏光データに適用されると誤解を招く結果につながる可能性があることを明らかにし、物理ベースのアプローチの必要性を強調しています。
私たちの実験では、最初に偏光固有の拡張を現実世界のキャプチャと比較して、物理的な一貫性を検証します。
次に、これらの拡張をセマンティック セグメンテーション タスクに適用し、モデルの一般化とパフォーマンスの大幅な向上を実現します。
この研究は、ディープラーニング（DL）における偏光イメージングのための物理学に基づいたデータ拡張の必要性を強調し、この分野の多様な研究全体でのより広範な採用とより堅牢なアプリケーションへの道を開きます。
特に、私たちのフレームワークは、サンプルサイズが限られている偏光データセットに対する DL モデルの可能性を解き放ちます。
私たちのコード実装は github.com/hahnec/polar_augment で入手できます。

要約(オリジナル)

Mueller matrix polarimetry captures essential information about polarized light interactions with a sample, presenting unique challenges for data augmentation in deep learning due to its distinct structure. While augmentations are an effective and affordable way to enhance dataset diversity and reduce overfitting, standard transformations like rotations and flips do not preserve the polarization properties in Mueller matrix images. To this end, we introduce a versatile simulation framework that applies physically consistent rotations and flips to Mueller matrices, tailored to maintain polarization fidelity. Our experimental results across multiple datasets reveal that conventional augmentations can lead to misleading results when applied to polarimetric data, underscoring the necessity of our physics-based approach. In our experiments, we first compare our polarization-specific augmentations against real-world captures to validate their physical consistency. We then apply these augmentations in a semantic segmentation task, achieving substantial improvements in model generalization and performance. This study underscores the necessity of physics-informed data augmentation for polarimetric imaging in deep learning (DL), paving the way for broader adoption and more robust applications across diverse research in the field. In particular, our framework unlocks the potential of DL models for polarimetric datasets with limited sample sizes. Our code implementation is available at github.com/hahnec/polar_augment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google