Rethinking Latent Redundancy in Behavior Cloning: An Information Bottleneck Approach for Robot Manipulation

要約

行動クローニング（BC）は、ロボット操作において広く採用されている視覚模倣学習法である。現在のBCアプローチは、大規模なデータセットを活用し、より多様な情報を捉えるために視覚やテキストモダリティを追加的に取り入れることで、汎化を強化することが多い。しかし、これらの手法は、学習された表現に冗長な情報が含まれているかどうかを見落としており、学習プロセスを導くための強固な理論的基礎を欠いている。これらの限界に対処するために、我々は情報理論的な視点を採用し、潜在的表現における冗長性を定量化し緩和するために相互情報を導入する。これに基づいて、我々は情報ボトルネック(IB)原理をBCに組み込み、タスクに関連する特徴を保持しながら無関係な情報を圧縮するための構造化された枠組みを提供することで、冗長性削減の考え方を拡張する。本研究は、様々な手法、バックボーン、実験設定にまたがる潜在的表現における冗長性に関する初の包括的研究を提示し、同時にIBのBCへの一般化可能性を拡張する。CortexBenchとLIBEROベンチマークを用いた広範な実験と分析により、IBによる性能の大幅な向上が実証され、入力データの冗長性を低減することの重要性が強調され、より実用的なアプリケーションに対する実用的な価値が強調された。プロジェクトページ: https://baishuanghao.github.io/BC-IB.github.io.

要約(オリジナル)

Behavior Cloning (BC) is a widely adopted visual imitation learning method in robot manipulation. Current BC approaches often enhance generalization by leveraging large datasets and incorporating additional visual and textual modalities to capture more diverse information. However, these methods overlook whether the learned representations contain redundant information and lack a solid theoretical foundation to guide the learning process. To address these limitations, we adopt an information-theoretic perspective and introduce mutual information to quantify and mitigate redundancy in latent representations. Building on this, we incorporate the Information Bottleneck (IB) principle into BC, which extends the idea of reducing redundancy by providing a structured framework for compressing irrelevant information while preserving task-relevant features. This work presents the first comprehensive study on redundancy in latent representations across various methods, backbones, and experimental settings, while extending the generalizability of the IB to BC. Extensive experiments and analyses on the CortexBench and LIBERO benchmarks demonstrate significant performance improvements with IB, underscoring the importance of reducing input data redundancy and highlighting its practical value for more practical applications. Project Page: https://baishuanghao.github.io/BC-IB.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL