Foundation Models for Autonomous Robots in Unstructured Environments

要約

建設現場などの非構造化環境におけるロボットによる活動の自動化は、長年の願望でした。
ただし、これらの環境では予測不可能なイベントが高度に発生するため、ロボットをハードコーディングしたり、狭い定義のデータセットでトレーニングしたりできる製造業など、より構造化された環境に比べて導入がはるかに少なくなっています。
最近、大規模言語モデル (LLM) などの事前トレーニングされた基礎モデルは、トレーニング データに存在しない問題に対するゼロショット ソリューションを提供することで優れた一般化機能を実証し、ロボットを非構造化環境に導入するための潜在的なソリューションとして提案しています。
この目的を達成するために、この研究では、事前トレーニングされた基礎モデルの潜在的な機会と課題を多次元の観点から調査します。
この研究では、ロボット環境と非構造化環境の 2 つの分野における基礎モデルの適用を系統的にレビューし、それらを熟議的演技理論で統合しました。
調査結果では、人間とロボットの対話における知覚を改善するために、LLM の言語機能が他の機能よりも活用されていることが示されました。
一方で、LLM を使用すると、建設におけるプロジェクト管理と安全性、および災害管理における自然災害の検出において、より多くの用途が実証されることが調査結果によって示されました。
これらの調査結果を総合して、この分野の現在の最先端技術を 5 段階の自動化スケールで特定し、条件付き自動化に位置付けました。
この評価は、自律的で安全な非構造化環境に向けた将来のシナリオ、課題、解決策を構想するために使用されました。
私たちの研究は、その未来に向けた私たちの進歩を追跡するためのベンチマークとして見ることができます。

要約(オリジナル)

Automating activities through robots in unstructured environments, such as construction sites, has been a long-standing desire. However, the high degree of unpredictable events in these settings has resulted in far less adoption compared to more structured settings, such as manufacturing, where robots can be hard-coded or trained on narrowly defined datasets. Recently, pretrained foundation models, such as Large Language Models (LLMs), have demonstrated superior generalization capabilities by providing zero-shot solutions for problems do not present in the training data, proposing them as a potential solution for introducing robots to unstructured environments. To this end, this study investigates potential opportunities and challenges of pretrained foundation models from a multi-dimensional perspective. The study systematically reviews application of foundation models in two field of robotic and unstructured environment and then synthesized them with deliberative acting theory. Findings showed that linguistic capabilities of LLMs have been utilized more than other features for improving perception in human-robot interactions. On the other hand, findings showed that the use of LLMs demonstrated more applications in project management and safety in construction, and natural hazard detection in disaster management. Synthesizing these findings, we located the current state-of-the-art in this field on a five-level scale of automation, placing them at conditional automation. This assessment was then used to envision future scenarios, challenges, and solutions toward autonomous safe unstructured environments. Our study can be seen as a benchmark to track our progress toward that future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google