要約
本技術報告では、ACM-MM 2022のPIC Makeup Temporal Video Grounding (MTVG) チャレンジに対する我々のチーム `PKU-WICT-MIPL’ の解決策を簡単に紹介する。MTVGは、トリミングされていないメイクアップビデオとステップクエリが与えられたとき、ビデオ内のターゲットメイクアップステップの時間的瞬間を特定することを目的とする。このタスクに取り組むために、我々はフレーズ関係マイニングフレームワークを提案し、細かいフレーズと文全体に関連する時間的局在関係を利用する。さらに、動的計画法アルゴリズムにより、異なるステップ文のクエリの定位結果が互いに重ならないように制約をかけることを提案する。実験結果は、本手法の有効性を示している。私たちの最終投稿は、リーダーボードで2位となり、1位との差は0.55%に留まりました。
要約(オリジナル)
In this technical report, we briefly introduce the solutions of our team `PKU-WICT-MIPL’ for the PIC Makeup Temporal Video Grounding (MTVG) Challenge in ACM-MM 2022. Given an untrimmed makeup video and a step query, the MTVG aims to localize a temporal moment of the target makeup step in the video. To tackle this task, we propose a phrase relationship mining framework to exploit the temporal localization relationship relevant to the fine-grained phrase and the whole sentence. Besides, we propose to constrain the localization results of different step sentence queries to not overlap with each other through a dynamic programming algorithm. The experimental results demonstrate the effectiveness of our method. Our final submission ranked 2nd on the leaderboard, with only a 0.55\% gap from the first.
arxiv情報
| 著者 | Minghang Zheng,Dejie Yang,Zhongjie Ye,Ting Lei,Yuxin Peng,Yang Liu |
| 発行日 | 2022-07-06 13:50:34+00:00 |
| arxivサイト | arxiv_id(pdf) |