CausalVLR: A Toolbox and Benchmark for Visual-Linguistic Causal Reasoning

要約

CausalVLR (Causal Visual-Linguistic Reasoning) を紹介します。これは、VQA、画像/ビデオなどのさまざまな視覚言語推論タスクのための最先端の因果関係発見および因果推論手法の豊富なセットを含むオープンソース ツールボックスです。
キャプション、医療レポートの生成、モデルの一般化と堅牢性など。これらのメソッドは、NVIDIA コンピューティング システムの PyTorch 実装とともにツールボックスに含まれています。
これにはトレーニング コードと推論コードが含まれるだけでなく、モデルの重みも提供されます。
私たちは、このツールボックスが最も完全な視覚言語的因果推論ツールボックスであると信じています。
私たちは、ツールボックスとベンチマークが、既存の手法を再実装し、独自の新しい因果推論手法を開発するための柔軟なツールキットを提供することにより、成長する研究コミュニティに役立つことを願っています。
コードとモデルは https://github.com/HCPLab-SYSU/Causal-VLReasoning で入手できます。
このプロジェクトは HCP-Lab の貢献者によって活発に開発されており、このドキュメントは常に更新されます。

要約(オリジナル)

We present CausalVLR (Causal Visual-Linguistic Reasoning), an open-source toolbox containing a rich set of state-of-the-art causal relation discovery and causal inference methods for various visual-linguistic reasoning tasks, such as VQA, image/video captioning, medical report generation, model generalization and robustness, etc. These methods have been included in the toolbox with PyTorch implementations under NVIDIA computing system. It not only includes training and inference codes, but also provides model weights. We believe this toolbox is by far the most complete visual-linguitic causal reasoning toolbox. We wish that the toolbox and benchmark could serve the growing research community by providing a flexible toolkit to re-implement existing methods and develop their own new causal reasoning methods. Code and models are available at https://github.com/HCPLab-SYSU/Causal-VLReasoning. The project is under active development by HCP-Lab’s contributors and we will keep this document updated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google