Winning the CVPR’2022 AQTC Challenge: A Two-stage Function-centric Approach

要約

エゴセントリックアシスタント（AQTC）のアフォーダンス中心の質問駆動型タスク完了は、AIアシスタントが説明ビデオやスクリプトから学習し、ユーザーを段階的にガイドするのに役立つ新しいタスクです。
このホワイトペーパーでは、2段階の機能中心のアプローチでAQTCを扱います。これは、関連する機能で質問を接地するQuestion2Functionモジュールと、履歴ステップに基づいてアクションを予測するFunction2Answerモジュールで構成されます。
各モジュールで考えられるいくつかのソリューションを評価し、特定のベースラインと比較して大幅な向上を実現しました。
私たちのコードは\url{https://github.com/starsholic/LOVEU-CVPR22-AQTC}で入手できます。

要約(オリジナル)

Affordance-centric Question-driven Task Completion for Egocentric Assistant(AQTC) is a novel task which helps AI assistant learn from instructional videos and scripts and guide the user step-by-step. In this paper, we deal with the AQTC via a two-stage Function-centric approach, which consists of Question2Function Module to ground the question with the related function and Function2Answer Module to predict the action based on the historical steps. We evaluated several possible solutions in each module and obtained significant gains compared to the given baselines. Our code is available at \url{https://github.com/starsholic/LOVEU-CVPR22-AQTC}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google