A Study on Differentiable Logic and LLMs for EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2023

要約

この技術レポートでは、アクション認識のための EPIC-KITCHENS-100 教師なしドメイン適応タスクに関して実施された研究の結果を紹介します。
私たちの研究は、動詞と名詞の間の共起関係を活用するためのトレーニングにおける微分可能な論理損失の革新的な応用と、目に見えないものへの適応のための論理ルールを生成するための事前トレーニングされた大規模言語モデル (LLM) に焦点を当てています。
アクションラベル。
具体的には、モデルの予測は共起論理式の真理値の割り当てとして扱われ、論理損失が計算され、予測と論理制約の間の一貫性が測定されます。
データセットから生成された動詞と名詞の共起行列を使用することにより、ベースライン フレームワークと比較してモデルのパフォーマンスが適度に向上していることがわかります。
新しいアクション ラベルに対するモデルの適応性をさらに強化するために、GPT-3.5 を使用して生成されたルールを実験します。これにより、パフォーマンスがわずかに低下します。
これらの発見は、行動認識のための教師なしドメイン適応における知識抽出のために微分可能ロジックと LLM を組み込むことの可能性と課題に光を当てています。
私たちの最終提出物 (「NS-LLM」というタイトル) は、トップ 1 のアクション認識精度の点で 1 位を獲得しました。

要約(オリジナル)

In this technical report, we present our findings from a study conducted on the EPIC-KITCHENS-100 Unsupervised Domain Adaptation task for Action Recognition. Our research focuses on the innovative application of a differentiable logic loss in the training to leverage the co-occurrence relations between verb and noun, as well as the pre-trained Large Language Models (LLMs) to generate the logic rules for the adaptation to unseen action labels. Specifically, the model’s predictions are treated as the truth assignment of a co-occurrence logic formula to compute the logic loss, which measures the consistency between the predictions and the logic constraints. By using the verb-noun co-occurrence matrix generated from the dataset, we observe a moderate improvement in model performance compared to our baseline framework. To further enhance the model’s adaptability to novel action labels, we experiment with rules generated using GPT-3.5, which leads to a slight decrease in performance. These findings shed light on the potential and challenges of incorporating differentiable logic and LLMs for knowledge extraction in unsupervised domain adaptation for action recognition. Our final submission (entitled `NS-LLM’) achieved the first place in terms of top-1 action recognition accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google