Technical Report for ICCV 2023 Visual Continual Learning Challenge: Continuous Test-time Adaptation for Semantic Segmentation

要約

この課題の目標は、セマンティック セグメンテーション タスクのビデオ シーケンス内の徐々に変化するドメインにモデルを適応できるテスト時間適応 (TTA) 手法を開発することです。
これは、合成運転ビデオ データセット – SHIFT に基づいています。
ソース モデルは、晴天の日中に撮影された画像でトレーニングされます。
テスト時のドメインの変更は、主に気象条件や時間帯の変化によって引き起こされます。
TTA メソッドは、各画像シーケンス (ビデオ) で個別に評価されます。これは、モデルが次のシーケンスの前にソース モデルの状態にリセットされることを意味します。
画像は 1 つずつ送信され、各フレームの到着時に予測を行う必要があります。
各シーケンスは 401 枚の画像で構成されており、ソース ドメインから始まり、シーケンスの途中まで徐々に別のドメイン (天候や時刻の変化) に移行します。
シーケンスの後半では、ドメインが徐々に元のドメインに戻ります。
グラウンド トゥルース データは、SHIFT データセットの検証分割でのみ使用できます。この分割には、ソース ドメインで始まりソース ドメインで終わるシーケンスが 6 つだけあります。
私たちはこれらの配列に特化して解析を行います。
開発された TTA メソッドがリーダーボードのランキングのために評価されるテスト スプリットのグラウンド トゥルース データは、一般には公開されていません。
提案されたソリューションはチャレンジで 3 位を確保し、イノベーション賞を受賞しました。
より良いスコアを獲得したソリューションとは対照的に、ソリューションを可能な限り一般的なものにするために、外部の事前トレーニング済みモデルや特殊なデータ拡張は使用しませんでした。
私たちは、分布の変化を分析し、変化するデータダイナミクスに適応し、さまざまなシナリオにわたって一般化できる方法の開発に焦点を当ててきました。

要約(オリジナル)

The goal of the challenge is to develop a test-time adaptation (TTA) method, which could adapt the model to gradually changing domains in video sequences for semantic segmentation task. It is based on a synthetic driving video dataset – SHIFT. The source model is trained on images taken during daytime in clear weather. Domain changes at test-time are mainly caused by varying weather conditions and times of day. The TTA methods are evaluated in each image sequence (video) separately, meaning the model is reset to the source model state before the next sequence. Images come one by one and a prediction has to be made at the arrival of each frame. Each sequence is composed of 401 images and starts with the source domain, then gradually drifts to a different one (changing weather or time of day) until the middle of the sequence. In the second half of the sequence, the domain gradually shifts back to the source one. Ground truth data is available only for the validation split of the SHIFT dataset, in which there are only six sequences that start and end with the source domain. We conduct an analysis specifically on those sequences. Ground truth data for test split, on which the developed TTA methods are evaluated for leader board ranking, are not publicly available. The proposed solution secured a 3rd place in a challenge and received an innovation award. Contrary to the solutions that scored better, we did not use any external pretrained models or specialized data augmentations, to keep the solutions as general as possible. We have focused on analyzing the distributional shift and developing a method that could adapt to changing data dynamics and generalize across different scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google