Bootstrapping Linear Models for Fast Online Adaptation in Human-Agent Collaboration

要約

人々を支援するエージェントは、パートナーの報酬機能に合わせて迅速に適応できる、適切に初期化されたポリシーを持っている必要があります。
未知のパートナーとのパフォーマンスを最大化するためのポリシーの初期化は、大規模なオフライン データセットに対する模倣学習を使用して非線形モデルをブートストラップすることで実現できます。
このようなポリシーでは、その場で微調整するために法外な計算が必要になる可能性があるため、パートナーの即時の行動を通じて表現されるパートナーの報酬関数に関する重要な実行時情報を見逃す可能性があります。
対照的に、低容量モデルを使用したオンライン ロジスティック回帰は、迅速な推論と微調整更新を実行するため、報酬関数の調整に即時のタスク内動作を効果的に利用できます。
ただし、これらの低容量モデルは、オフライン データセットによる効果的なブートストラップができないため、初期化が不十分になります。
我々は、BLR-HAC (ヒューマン エージェント コラボレーションのためのブートストラップ ロジスティック回帰) を提案します。これは、大規模な非線形モデルをブートストラップして低容量モデルのパラメーターを学習し、コラボレーション中の更新にオンライン ロジスティック回帰を使用します。
シミュレートされた表面再配置タスクで BLR-HAC をテストし、浅い方法よりも高いゼロショット精度を達成し、オンラインに適応するのにはるかに少ない計算量で済むと同時に、微調整された大規模な非線形モデルと同様のパフォーマンスを達成できることを実証します。
コードについては、プロジェクト ページ https://sites.google.com/view/blr-hac をご覧ください。

要約(オリジナル)

Agents that assist people need to have well-initialized policies that can adapt quickly to align with their partners’ reward functions. Initializing policies to maximize performance with unknown partners can be achieved by bootstrapping nonlinear models using imitation learning over large, offline datasets. Such policies can require prohibitive computation to fine-tune in-situ and therefore may miss critical run-time information about a partner’s reward function as expressed through their immediate behavior. In contrast, online logistic regression using low-capacity models performs rapid inference and fine-tuning updates and thus can make effective use of immediate in-task behavior for reward function alignment. However, these low-capacity models cannot be bootstrapped as effectively by offline datasets and thus have poor initializations. We propose BLR-HAC, Bootstrapped Logistic Regression for Human Agent Collaboration, which bootstraps large nonlinear models to learn the parameters of a low-capacity model which then uses online logistic regression for updates during collaboration. We test BLR-HAC in a simulated surface rearrangement task and demonstrate that it achieves higher zero-shot accuracy than shallow methods and takes far less computation to adapt online while still achieving similar performance to fine-tuned, large nonlinear models. For code, please see our project page https://sites.google.com/view/blr-hac.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google