Hierarchical NeuroSymbolic Approach for Action Quality Assessment

要約

アクション品質評価 (AQA) は、コンピューター ビジョンを応用して人間のアクションのパフォーマンスや実行を定量的に評価します。
現在の AQA アプローチはエンドツーエンドのニューラル モデルですが、透明性に欠け、人間の主観的な判断をグラウンドトゥルースとしてトレーニングしているため、偏りがちです。
これらの問題に対処するために、AQA にニューラル シンボリック パラダイムを導入します。これは、ニューラル ネットワークを使用してビデオ データから解釈可能なシンボルを抽象化し、それらのシンボルにルールを適用することで品質評価を行います。
ダイビングを事例として取り上げます。
専門分野の専門家が私たちのシステムを好み、ダイビングにおける AQA への純粋な神経アプローチよりも有益であると考えていることがわかりました。
当社のシステムは、最先端のアクション認識と時間的セグメンテーションも実現し、要素を細分化し、視覚的証拠を伴う客観的なスコアリングを提供する詳細なレポートを自動的に生成します。
分野専門家のグループによって検証されたように、このレポートは、審査員の採点を支援し、審査員のトレーニングを支援し、ダイバーにフィードバックを提供するために使用できます。
再現性を容易にするために、注釈付きのトレーニング データとコードをすべてオープンソース化します。

要約(オリジナル)

Action quality assessment (AQA) applies computer vision to quantitatively assess the performance or execution of a human action. Current AQA approaches are end-to-end neural models, which lack transparency and tend to be biased because they are trained on subjective human judgements as ground-truth. To address these issues, we introduce a neuro-symbolic paradigm for AQA, which uses neural networks to abstract interpretable symbols from video data and makes quality assessments by applying rules to those symbols. We take diving as the case study. We found that domain experts prefer our system and find it more informative than purely neural approaches to AQA in diving. Our system also achieves state-of-the-art action recognition and temporal segmentation, and automatically generates a detailed report that breaks the dive down into its elements and provides objective scoring with visual evidence. As verified by a group of domain experts, this report may be used to assist judges in scoring, help train judges, and provide feedback to divers. We will open-source all of our annotated training data and code for ease of reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google