LASER: A Neuro-Symbolic Framework for Learning Spatial-Temporal Scene Graphs with Weak Supervision

要約

私たちは、高レベルのロジック仕様を活用してビデオ データの豊富な空間的および時間的特性をキャプチャするセマンティック ビデオ表現を学習するための神経記号的アプローチである LASER を提案します。
特に、生のビデオと時空間ロジック仕様の間の調整という観点から問題を定式化します。
アライメント アルゴリズムは、微分可能な記号推論と、対照的損失、時間的損失、およびセマンティクス損失の組み合わせを活用します。
低レベルの知覚モデルを効果的かつ効率的にトレーニングして、目的の高レベルの仕様に準拠した時空間シーン グラフの形式できめの細かいビデオ表現を抽出します。
グラウンド トゥルース ラベルを取得する手動の労力を実質的に削減するために、汎用プロンプト テンプレートを備えた大規模な言語モデルを採用することで、キャプションからロジック仕様を導き出します。
その際、私たちは、広くアクセス可能なビデオキャプションデータを使用した時空間シーングラフの学習を弱く監視する新しい方法論を探索します。
豊富な空間的および時間的仕様を持つ 3 つのデータセット (20BN-Something-Something、MUGEN、OpenPVSG) でメソッドを評価します。
私たちの方法が既存のベースラインよりも詳細なビデオセマンティクスを学習することを実証します。

要約(オリジナル)

We propose LASER, a neuro-symbolic approach to learn semantic video representations that capture rich spatial and temporal properties in video data by leveraging high-level logic specifications. In particular, we formulate the problem in terms of alignment between raw videos and spatio-temporal logic specifications. The alignment algorithm leverages a differentiable symbolic reasoner and a combination of contrastive, temporal, and semantics losses. It effectively and efficiently trains low-level perception models to extract a fine-grained video representation in the form of a spatio-temporal scene graph that conforms to the desired high-level specification. To practically reduce the manual effort of obtaining ground truth labels, we derive logic specifications from captions by employing a large language model with a generic prompting template. In doing so, we explore a novel methodology that weakly supervises the learning of spatio-temporal scene graphs with widely accessible video-caption data. We evaluate our method on three datasets with rich spatial and temporal specifications: 20BN-Something-Something, MUGEN, and OpenPVSG. We demonstrate that our method learns better fine-grained video semantics than existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google