Policy Learning with a Language Bottleneck

要約

自動運転車やゲーム エージェントなどの最新の AI システムは、超人的なパフォーマンスを実現しますが、一般化、解釈可能性、人間の相互運用性などの人間のような機能が欠けていることがよくあります。
人間の言語と意思決定の間の豊かな相互作用にヒントを得て、言語ボトルネックを伴うポリシー学習 (PLLB) を紹介します。これは、AI エージェントが最もやりがいのある行動の基礎となる戦略を捕捉する言語ルールを生成できるようにするフレームワークです。
PLLB は、言語モデルに基づいたルール生成ステップと、エージェントがルールに基づいて新しいポリシーを学習する更新ステップを交互に実行します。
2 人用コミュニケーション ゲーム、迷路解決タスク、および 2 つの画像再構成タスクにおいて、PLLB エージェントがより解釈可能で一般化可能な動作を学習できるだけでなく、学習したルールを人間のユーザーと共有して、より効果的な学習を可能にすることを示します。
人間とAIの連携。

要約(オリジナル)

Modern AI systems such as self-driving cars and game-playing agents achieve superhuman performance, but often lack human-like features such as generalization, interpretability and human inter-operability. Inspired by the rich interactions between language and decision-making in humans, we introduce Policy Learning with a Language Bottleneck (PLLB), a framework enabling AI agents to generate linguistic rules that capture the strategies underlying their most rewarding behaviors. PLLB alternates between a rule generation step guided by language models, and an update step where agents learn new policies guided by rules. In a two-player communication game, a maze solving task, and two image reconstruction tasks, we show that PLLB agents are not only able to learn more interpretable and generalizable behaviors, but can also share the learned rules with human users, enabling more effective human-AI coordination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google