Proving the Potential of Skeleton Based Action Recognition to Automate the Analysis of Manual Processes

要約

繊維やエレクトロニクスなどの製造部門では、手作業のプロセスが生産の基本的な部分です。
効率的な生産設計にはプロセスの分析と監視が必要です。
手動プロセスを分析するための従来の方法は、複雑で高価であり、柔軟性に欠けます。
Methods-Time-Measurement (MTM) などの確立されたアプローチと比較して、機械学習 (ML) メソッドは、より高い柔軟性、自給自足および永続的な使用、より低いコストを約束します。
この作業では、ビデオ ストリームに基づいて、手動組み立てプロセスにおける現在のモーション クラスが検出されます。
現在の動きに関する情報を使用して、主要パフォーマンス指標 (KPI) を簡単に導き出すことができます。
この分野では最近マシンビジョンタスクで大きな成功を収めているため、スケルトンベースのアクション認識アプローチが採用されています。
手動組み立てにおけるスケルトンベースのアクション認識には、十分な事前作業が見つかりませんでした。
したがって、さまざまな (前) 処理方法とニューラル ネットワークに関する広範な研究を可能にする ML パイプラインが開発されました。
適切な一般化アプローチが見つかり、手動プロセスの分析を強化する ML の可能性が証明されました。
モデルは、オペレーターが手動で組み立てた現在の動作を検出しますが、結果はあらゆる種類の手動プロセスに転送できます。

要約(オリジナル)

In manufacturing sectors such as textiles and electronics, manual processes are a fundamental part of production. The analysis and monitoring of the processes is necessary for efficient production design. Traditional methods for analyzing manual processes are complex, expensive, and inflexible. Compared to established approaches such as Methods-Time-Measurement (MTM), machine learning (ML) methods promise: Higher flexibility, self-sufficient & permanent use, lower costs. In this work, based on a video stream, the current motion class in a manual assembly process is detected. With information on the current motion, Key-Performance-Indicators (KPIs) can be derived easily. A skeleton-based action recognition approach is taken, as this field recently shows major success in machine vision tasks. For skeleton-based action recognition in manual assembly, no sufficient pre-work could be found. Therefore, a ML pipeline is developed, to enable extensive research on different (pre-) processing methods and neural nets. Suitable well generalizing approaches are found, proving the potential of ML to enhance analyzation of manual processes. Models detect the current motion, performed by an operator in manual assembly, but the results can be transferred to all kinds of manual processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google