Forgetful Large Language Models: Lessons Learned from Using LLMs in Robot Programming

要約

大規模な言語モデルは、人々がロボット アプリケーションをプログラムできるようにする新しい方法、つまりプロンプトによるコード生成を提供します。
ただし、LLM によって生成されたコードはエラーの影響を受けやすくなります。
この研究では、ロボット プログラミングにおいて LLM によって生成される一般的なエラーを経験的に特徴付ける予備調査を報告します。
これらのエラーは、解釈と実行の 2 つのフェーズに分類されます。
この研究では、実行時のエラーに焦点を当て、LLM がユーザー プロンプトで提供された重要な情報を「忘れる」ことによってエラーが発生することを観察しました。
この観察に基づいて、実行時のエラーを減らすように設計された迅速なエンジニアリング戦術を提案します。
次に、ChatGPT、Bard、LLaMA-2 の 3 つの言語モデルを使用して、これらの戦術の有効性を実証します。
最後に、ロボット プログラミングで LLM を使用することから得られた教訓について説明し、LLM を利用したエンドユーザーによるロボット アプリケーション開発のベンチマークを求めます。

要約(オリジナル)

Large language models offer new ways of empowering people to program robot applications-namely, code generation via prompting. However, the code generated by LLMs is susceptible to errors. This work reports a preliminary exploration that empirically characterizes common errors produced by LLMs in robot programming. We categorize these errors into two phases: interpretation and execution. In this work, we focus on errors in execution and observe that they are caused by LLMs being ‘forgetful’ of key information provided in user prompts. Based on this observation, we propose prompt engineering tactics designed to reduce errors in execution. We then demonstrate the effectiveness of these tactics with three language models: ChatGPT, Bard, and LLaMA-2. Finally, we discuss lessons learned from using LLMs in robot programming and call for the benchmarking of LLM-powered end-user development of robot applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google