Baby Physical Safety Monitoring in Smart Home Using Action Recognition System

要約

タイトル: アクション認識システムを用いたスマートホームにおける乳児の身体安全監視

要約:
– 人間は、前の経験に関連する特徴に基づいて認識と予測を行うことで、観察された2つの状態間で起こったアクションを直感的に推測することができる。
– 適切なデータセット、注釈、ビデオデータの前処理を含む適切なデータセットの作成によって、空間時間データ内の活動を正確に説明するための曖昧さを克服することができる。
– 本研究では、軽量なフレームワークを提供し、転移学習技術を組み合わせたConv2D LSTMレイヤーを組み合わせて、Kineticsデータセットで事前に訓練されたI3Dモデルから特徴を抽出することで、新しいARタスク（スマートベビーケア）に対応した。
– また、ベンチマークデータセットと、LSTMコンボリューションを使用した自動モデルを開発し、スマートベビールームでの赤ちゃんの活動を認識、予測するためのConvLSTM-I3Dを使用したモデルを構築。
– 最後に、ビデオ拡張を実装して、スマートベビーケアタスクでのモデル性能を向上させた。
– 他のベンチマークモデルと比較して、本実験フレームワークは、より少ない計算リソースでより優れた性能を発揮した。

要約(オリジナル)

Humans are able to intuitively deduce actions that took place between two states in observations via deductive reasoning. This is because the brain operates on a bidirectional communication model, which has radically improved the accuracy of recognition and prediction based on features connected to previous experiences. During the past decade, deep learning models for action recognition have significantly improved. However, deep neural networks struggle with these tasks on a smaller dataset for specific Action Recognition (AR) tasks. As with most action recognition tasks, the ambiguity of accurately describing activities in spatial-temporal data is a drawback that can be overcome by curating suitable datasets, including careful annotations and preprocessing of video data for analyzing various recognition tasks. In this study, we present a novel lightweight framework combining transfer learning techniques with a Conv2D LSTM layer to extract features from the pre-trained I3D model on the Kinetics dataset for a new AR task (Smart Baby Care) that requires a smaller dataset and less computational resources. Furthermore, we developed a benchmark dataset and an automated model that uses LSTM convolution with I3D (ConvLSTM-I3D) for recognizing and predicting baby activities in a smart baby room. Finally, we implemented video augmentation to improve model performance on the smart baby care task. Compared to other benchmark models, our experimental framework achieved better performance with less computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI