Natural Language Instructions for Intuitive Human Interaction with Robotic Assistants in Field Construction Work

要約

ロボットの導入は、建設業界を悩ませている労働者不足と生産性の停滞の問題を緩和する大きな可能性を秘めていると広く考えられています。
しかし、複雑で構造化されていない建設現場で完全に自動化されたロボットを使用することは困難です。
人間とロボットのコラボレーション (HRC) は、人間の作業員の柔軟性とロボットアシスタントの身体能力を組み合わせて、建設作業に固有の不確実性に共同で対処できる可能性を示しています。
建設現場で HRC を導入する場合、現場建設におけるチームワークと監督の重要性を認識し、人間の作業員とロボットアシスタントのための自然で直観的なコミュニケーションシステムを確立することが重要です。
自然言語ベースの対話により、ロボット プログラミングの専門家ではない人間の作業者でも、ロボットとの直観的で親しみやすいコミュニケーションが可能になります。
ただし、建設におけるこのテーマに関しては限られた研究が行われています。
この論文では、人間の作業者が自然言語命令に基づいて建設ロボットと対話できるようにするフレームワークを提案します。
提案手法は、自然言語理解 (NLU)、情報マッピング (IM)、ロボット制御 (RC) の 3 つの段階で構成されます。
自然言語命令は言語モデルに入力され、NLU モジュール内の各単語のタグを予測します。
IM モジュールは、NLU モジュールの結果と建物コンポーネント情報を使用して、ロボットが建設タスクを認識して実行するために不可欠な最終的な指示出力を生成します。
提案されたアプローチを評価するために、乾式壁設置のケーススタディが実施されます。
得られた結果は、人間とロボットのチームのコンテキスト内で人間の作業者間で行われるコミュニケーションを再現するために、自然言語ベースのインタラクションを使用する可能性を強調しています。

要約(オリジナル)

The introduction of robots is widely considered to have significant potential of alleviating the issues of worker shortage and stagnant productivity that afflict the construction industry. However, it is challenging to use fully automated robots in complex and unstructured construction sites. Human-Robot Collaboration (HRC) has shown promise of combining human workers’ flexibility and robot assistants’ physical abilities to jointly address the uncertainties inherent in construction work. When introducing HRC in construction, it is critical to recognize the importance of teamwork and supervision in field construction and establish a natural and intuitive communication system for the human workers and robotic assistants. Natural language-based interaction can enable intuitive and familiar communication with robots for human workers who are non-experts in robot programming. However, limited research has been conducted on this topic in construction. This paper proposes a framework to allow human workers to interact with construction robots based on natural language instructions. The proposed method consists of three stages: Natural Language Understanding (NLU), Information Mapping (IM), and Robot Control (RC). Natural language instructions are input to a language model to predict a tag for each word in the NLU module. The IM module uses the result of the NLU module and building component information to generate the final instructional output essential for a robot to acknowledge and perform the construction task. A case study for drywall installation is conducted to evaluate the proposed approach. The obtained results highlight the potential of using natural language-based interaction to replicate the communication that occurs between human workers within the context of human-robot teams.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google