Color Mismatches in Stereoscopic Video: Real-World Dataset and Deep Correction Method

要約

立体視ビデオには、カメラ設定、レンズ、さらにはさまざまな位置からキャプチャされたオブジェクトの反射のわずかな違いにより、左右のビュー間で色の不一致が含まれる場合があります。
色の不一致が存在すると、見る人に不快感や頭痛を引き起こす可能性があります。
この問題は、立体視ビュー間で色を転送することで解決できますが、従来の方法では品質が不足することが多く、ニューラル ネットワーク ベースの方法では人工データに簡単にオーバーフィットしてしまう可能性があります。
現実世界の色の不一致を伴う立体視ビデオが不足しているため、さまざまな方法のパフォーマンスの評価が妨げられています。
したがって、ビーム スプリッターを使用して、色の不一致を持つ歪んだフレームとグラウンド トゥルース データの両方を含むビデオ データセットを撮影しました。
私たちの 2 番目の貢献は、ステレオ対応を活用して色不一致補正タスクを解決するディープ マルチスケール ニューラル ネットワークです。
実験結果は、従来のデータセットに対する提案された方法の有効性を示していますが、困難な現実世界のデータに対しては改善の余地が残っています。

要約(オリジナル)

Stereoscopic videos can contain color mismatches between the left and right views due to minor variations in camera settings, lenses, and even object reflections captured from different positions. The presence of color mismatches can lead to viewer discomfort and headaches. This problem can be solved by transferring color between stereoscopic views, but traditional methods often lack quality, while neural-network-based methods can easily overfit on artificial data. The scarcity of stereoscopic videos with real-world color mismatches hinders the evaluation of different methods’ performance. Therefore, we filmed a video dataset, which includes both distorted frames with color mismatches and ground-truth data, using a beam-splitter. Our second contribution is a deep multiscale neural network that solves the color-mismatch-correction task by leveraging stereo correspondences. The experimental results demonstrate the effectiveness of the proposed method on a conventional dataset, but there remains room for improvement on challenging real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google