On-the-go Reflectance Transformation Imaging with Ordinary Smartphones

要約

反射率変換イメージング (RTI) は、さまざまな照明条件下でオブジェクトをキャプチャすることにより、ピクセルごとの反射率情報を復元できる一般的な手法です。
これを後で使用して、表面の詳細を明らかにし、インタラクティブに被写体を照らし直すことができます。
ただし、このようなプロセスは通常、複数の場所から光の方向を回復するための専用のハードウェア セットアップを必要とするため、ラボの外で実行する場合はプロセスが面倒になります。
2台の通常のスマートフォンで動画を録画することで実行できる新しいRTI方法を提案します。
一方のデバイスのフラッシュ LED ライトを使用して被写体を照らし、もう一方のデバイスで反射率をキャプチャします。
LED はカメラのレンズの近くに取り付けられているため、被写体を囲む基準マーカーを観察しながら照明装置を自由に動かすことで、何千もの画像の光の方向を推測できます。
このような量のデータを処理するために、主成分分析 (PCA) によって圧縮された非常にコンパクトな反射率分布データから、任意の光の方向に対するオブジェクトの外観を再構築するニューラル リライティング モデルを提案します。
実験では、提案された手法は、専用のハードウェア設定を含む最先端のアプローチよりも優れた結果の RTI モデルを使用してフィールドで簡単に実行できることが示されています。

要約(オリジナル)

Reflectance Transformation Imaging (RTI) is a popular technique that allows the recovery of per-pixel reflectance information by capturing an object under different light conditions. This can be later used to reveal surface details and interactively relight the subject. Such process, however, typically requires dedicated hardware setups to recover the light direction from multiple locations, making the process tedious when performed outside the lab. We propose a novel RTI method that can be carried out by recording videos with two ordinary smartphones. The flash led-light of one device is used to illuminate the subject while the other captures the reflectance. Since the led is mounted close to the camera lenses, we can infer the light direction for thousands of images by freely moving the illuminating device while observing a fiducial marker surrounding the subject. To deal with such amount of data, we propose a neural relighting model that reconstructs object appearance for arbitrary light directions from extremely compact reflectance distribution data compressed via Principal Components Analysis (PCA). Experiments shows that the proposed technique can be easily performed on the field with a resulting RTI model that can outperform state-of-the-art approaches involving dedicated hardware setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google