MIMONet: Multi-Input Multi-Output On-Device Deep Learning

要約

将来の知能ロボットは、人間と同様に、複数の入力 (画像や音声データなど) を同時に処理し、それに応じて複数の出力 (性別や感情など) を生成することが期待されています。
最近の研究では、多入力単出力 (MISO) ディープ ニューラル ネットワーク (DNN) が従来の単入力単出力 (SISO) モデルよりも優れていることが示されており、この目標に向けた重要な一歩となっています。
この論文では、遅延、エネルギー、メモリ使用量などの重要なパフォーマンス指標の観点から高精度とオンデバイス効率を実現する、新しいオンデバイス多入力多出力 (MIMO) DNN フレームワークである MIMONet を提案します。
MIMONet は、既存の SISO モデル圧縮技術を活用して、MIMO モデルに特化した新しい強力な圧縮方法を開発します。
この新しい方法は、MIMO モデルの固有ではあるが自明ではない特性を調査し、その結果、精度とデバイス上の効率が向上します。
ロボット システムで一般的に使用される 3 つの組み込みプラットフォームでの広範な実験と、TurtleBot3 ロボットを使用したケース スタディでは、MIMONet が最先端の SISO および MISO モデルと比較して、より高い精度と優れたオンデバイス効率を達成していることが実証されています。
私たちが構築したベースライン MIMO モデルも同様です。
私たちの評価は、MIMONet の実世界への適用可能性と、インテリジェント ロボット システムのパフォーマンスを大幅に向上させる可能性を強調しています。

要約(オリジナル)

Future intelligent robots are expected to process multiple inputs simultaneously (such as image and audio data) and generate multiple outputs accordingly (such as gender and emotion), similar to humans. Recent research has shown that multi-input single-output (MISO) deep neural networks (DNN) outperform traditional single-input single-output (SISO) models, representing a significant step towards this goal. In this paper, we propose MIMONet, a novel on-device multi-input multi-output (MIMO) DNN framework that achieves high accuracy and on-device efficiency in terms of critical performance metrics such as latency, energy, and memory usage. Leveraging existing SISO model compression techniques, MIMONet develops a new deep-compression method that is specifically tailored to MIMO models. This new method explores unique yet non-trivial properties of the MIMO model, resulting in boosted accuracy and on-device efficiency. Extensive experiments on three embedded platforms commonly used in robotic systems, as well as a case study using the TurtleBot3 robot, demonstrate that MIMONet achieves higher accuracy and superior on-device efficiency compared to state-of-the-art SISO and MISO models, as well as a baseline MIMO model we constructed. Our evaluation highlights the real-world applicability of MIMONet and its potential to significantly enhance the performance of intelligent robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google