Is there progress in activity progress prediction?

要約

アクティビティの進捗予測は、アクティビティの何パーセントが完了したかを推定することを目的としています。
現在、これは機械学習アプローチを使用して行われており、複雑で現実的なビデオ データセットでトレーニングおよび評価されています。
これらのデータセット内のビデオは、長さと外観が大幅に異なります。
また、一部のアクティビティには予期せぬ展開があり、アクティビティの進行状況を予測することが困難になります。
この研究では、これらのデータセットに対して既存の進捗予測手法によって得られた結果を検証します。
現在の進捗予測方法は、進捗予測タスクに有用な視覚情報を抽出していないようであることがわかりました。
したがって、これらの方法は単純なフレームカウントのベースラインを超えることはできません。
私たちは、活動の進捗状況を予測するために正確に制御されたデータセットを設計し、この合成データセット上で、検討した方法が進捗状況の予測に直接関係する場合に視覚情報を利用できることを示します。
現在使用されている現実世界のデータセットでは、進捗予測タスクは適切に設定されていないと結論付けます。
さらに、アクティビティの進行を公平に測定するには、シンプルだが効果的な、フレームカウントのベースラインを検討することをお勧めします。

要約(オリジナル)

Activity progress prediction aims to estimate what percentage of an activity has been completed. Currently this is done with machine learning approaches, trained and evaluated on complicated and realistic video datasets. The videos in these datasets vary drastically in length and appearance. And some of the activities have unanticipated developments, making activity progression difficult to estimate. In this work, we examine the results obtained by existing progress prediction methods on these datasets. We find that current progress prediction methods seem not to extract useful visual information for the progress prediction task. Therefore, these methods fail to exceed simple frame-counting baselines. We design a precisely controlled dataset for activity progress prediction and on this synthetic dataset we show that the considered methods can make use of the visual information, when this directly relates to the progress prediction. We conclude that the progress prediction task is ill-posed on the currently used real-world datasets. Moreover, to fairly measure activity progression we advise to consider a, simple but effective, frame-counting baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google