Synapse: Learning Preferential Concepts from Visual Demonstrations

要約

この論文は、ユーザー固有の好み (例: 「良い駐車場」、「便利な降車場所」) を視覚入力から学習することを目的とした好み学習の問題に取り組んでいます。
事実に基づいた概念（例：「レッドキューブ」）の学習と類似しているにもかかわらず、好みの学習は、その主観的な性質と個人固有のトレーニング データの不足により、基本的により困難な問題です。
私たちは、シナプスと呼ばれる新しいフレームワークを使用してこの問題に取り組みます。これは、限られたデモンストレーションから優先的な概念を効率的に学習するように設計された神経記号的アプローチです。
Synapse は、画像上で動作するドメイン固有言語 (DSL) の神経記号プログラムとして好みを表し、視覚的な解析、大規模な言語モデル、およびプログラム合成の新しい組み合わせを活用して、個人の好みを表すプログラムを学習します。
当社は、モバイル ロボティクスと自動運転におけるモビリティ関連の概念に焦点を当てたユーザー ケース スタディを含む広範な実験を通じて Synapse を評価します。
私たちの評価では、Synapse が既存のベースラインや独自のアブレーションよりも大幅に優れていることが実証されています。
コードとその他の詳細は、プロジェクト Web サイト https://amrl.cs.utexas.edu/synapse でご覧いただけます。

要約(オリジナル)

This paper addresses the problem of preference learning, which aims to learn user-specific preferences (e.g., ‘good parking spot’, ‘convenient drop-off location’) from visual input. Despite its similarity to learning factual concepts (e.g., ‘red cube’), preference learning is a fundamentally harder problem due to its subjective nature and the paucity of person-specific training data. We address this problem using a new framework called Synapse, which is a neuro-symbolic approach designed to efficiently learn preferential concepts from limited demonstrations. Synapse represents preferences as neuro-symbolic programs in a domain-specific language (DSL) that operates over images, and leverages a novel combination of visual parsing, large language models, and program synthesis to learn programs representing individual preferences. We evaluate Synapse through extensive experimentation including a user case study focusing on mobility-related concepts in mobile robotics and autonomous driving. Our evaluation demonstrates that Synapse significantly outperforms existing baselines as well as its own ablations. The code and other details can be found on the project website https://amrl.cs.utexas.edu/synapse .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google