Digital Twin-Enabled Real-Time Control in Robotic Additive Manufacturing via Soft Actor-Critic Reinforcement Learning

要約

スマート製造システムは、複雑なプロセスを最適化するために、適応制御メカニズムにますます依存しています。
この研究では、ソフトアクタークリティック（SAC）強化学習をデジタルツインテクノロジーと統合し、ロボット添加剤の製造におけるリアルタイムプロセス制御を可能にする新しいアプローチを提示します。
Viper X300Sロボットアームを使用して方法論を実証し、2つの異なる制御シナリオを実装します。
システムアーキテクチャは、Unityのシミュレーション環境とSeamless Digital Twin同期のためにROS2を組み合わせ、転送学習を活用してタスク全体で訓練されたモデルを効率的に適応させます。
当社の階層的な報酬構造は、局所的な最小回避、収束加速、トレーニングの安定性など、一般的な強化学習の課題に対処しています。
実験結果は、累積報酬、価値予測の精度、ポリシーの損失、離散エントロピー係数などのパフォーマンスメトリックがアプローチの有効性を実証する、シミュレートされた環境と物理的環境の両方で、迅速なポリシーの収束と堅牢なタス​​クの実行を示しています。
この作業は、産業用ロボット工学アプリケーション向けのデジタルツインとの補強学習の統合を進め、スマート添加剤製造プロセスのための強化された適応リアルタイム制御のフレームワークを提供します。

要約(オリジナル)

Smart manufacturing systems increasingly rely on adaptive control mechanisms to optimize complex processes. This research presents a novel approach integrating Soft Actor-Critic (SAC) reinforcement learning with digital twin technology to enable real-time process control in robotic additive manufacturing. We demonstrate our methodology using a Viper X300s robot arm, implementing two distinct control scenarios: static target acquisition and dynamic trajectory following. The system architecture combines Unity’s simulation environment with ROS2 for seamless digital twin synchronization, while leveraging transfer learning to efficiently adapt trained models across tasks. Our hierarchical reward structure addresses common reinforcement learning challenges including local minima avoidance, convergence acceleration, and training stability. Experimental results show rapid policy convergence and robust task execution in both simulated and physical environments, with performance metrics including cumulative reward, value prediction accuracy, policy loss, and discrete entropy coefficient demonstrating the effectiveness of our approach. This work advances the integration of reinforcement learning with digital twins for industrial robotics applications, providing a framework for enhanced adaptive real-time control for smart additive manufacturing process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google