TempT: Temporal consistency for Test-time adaptation

要約

タイトル ： TempT：テスト時適応のための時系列の一貫性
要約 ： この論文では、時間的な一貫性を用いたテスト時適応の新しい手法である「Temporal consistency for Test-time adaptation（TempT）」を紹介する。この手法は、フレーム間の予測の時間的な一貫性を自己監督信号として使用し、ビデオにおけるテスト時適応を実現する。また、TempTはフェイシャルエクスプレッション認識（FER）などのコンピュータビジョンタスクに広く応用可能であるとされている。研究者らは、AffWild2データセットでTempTの性能を評価した。この手法は、2D CNNバックボーンを使用し、他の手法において使用される大規模なシーケンシャルまたはアテンションベースのモデルと比較して、視覚特徴にのみ注目している。研究者の予備的な実験結果は、TempTが過去数年報告された性能と競合するほどの性能を持っており、その有効性は様々な現実世界のアプリケーションに使用することができることを示すものである。

– 「Temporal consistency for Test-time adaptation（TempT）」は、フレーム間の予測の一貫性を自己監視信号として使用して、ビデオにおけるテスト時適応を実現する新しい手法である。
– TempTは、フェイシャルエクスプレッション認識（FER）などのコンピュータビジョンタスクに広く応用可能である。
– 研究者らは、AffWild2データセットでTempTの性能を評価し、2D CNNバックボーンを使用して視覚特徴にのみ注目している。
– 研究者の実験結果は、TempTが過去数年報告された性能と競合するほどの性能を持っていることを示し、現実世界の様々なアプリケーションに使用することができることを示している。

要約(オリジナル)

We introduce Temporal consistency for Test-time adaptation (TempT) a novel method for test-time adaptation on videos through the use of temporal coherence of predictions across sequential frames as a self-supervision signal. TempT is an approach with broad potential applications in computer vision tasks including facial expression recognition (FER) in videos. We evaluate TempT performance on the AffWild2 dataset. Our approach focuses solely on the unimodal visual aspect of the data and utilizes a popular 2D CNN backbone in contrast to larger sequential or attention-based models used in other approaches. Our preliminary experimental results demonstrate that TempT has competitive performance compared to the previous years reported performances and its efficacy provides a compelling proof-of-concept for its use in various real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI