2026年3月16-20日にユビキタスコンピューティングに関するトップ会議であるThe 24th International Conference on Pervasive Computing and Communications (PerCom 2026) がイタリア，ピサで開催中です．
こちらのデモセッションにて，以下の発表を行いました．
Shape-N-Motion: Fine-Grained Hand Object Manipulation Recognition with Ultrasonic and IMU
概要
スマートフォン操作に代表される手指による物体操作は，認知・運動機能を反映する重要な指標であり，ヘルスケア分野を中心に，ウェアラブルセンサによる認識が求められています．
しかし，従来広く用いられてきたIMUセンサや受動マイクロフォンでは，手指近傍の局所的な手掛かりを直接取得することが困難です．
超音波センシングは，能動計測により指先近傍の幾何変化や接触状態を反映でき，こうした局所情報を直接捉え得る点で有望なアプローチです[1]．一方で，物体操作時には反射信号が複雑化し，手指の細かな違いに由来する手掛かりが埋もれやすくなるという課題があります．
そこで本研究では，物体との接触によって生じる反射パターンそのものを識別特徴として利用することで，手指形状の明示的な再構成に依存しない認識手法を提案しました．さらに，IMUセンサと組み合わせることで，腕・手首の軌道情報も併用し，多様な手指による物体操作の認識を実現しました．
細粒度な手指による物体操作を対象とした45クラスベンチマークにおいて，IMU+受動マイク融合手法や超音波単独手法を含む既存手法と比較評価した結果，提案手法は既存手法を上回る性能を達成しました．以上より，本研究は，細粒度な手指による物体操作認識に有効な枠組みを示しました．
[1]L.C.Jung+, EchoWrist: Continuous Hand Pose Tracking and Hand-Object Interaction Recognition Using Low-Power Active Acoustic Sensing On a Wristband, CHI ’24発表情報 (詳細プログラム)
2026/3/17 (Tue) 16:00-19:00 Welcome reception Phd Poster & Demos
Title：Shape-N-Motion: Fine-Grained Hand Object Manipulation Recognition with Ultrasonic and IMU
Authors：Kaito Fujishige (Institute of Science Tokyo, Japan); Kota Tsubouchi (LY Corporation, Japan); Yuuki Nishiyama (University of Tokyo, Japan); Masamichi Shimosaka (Institute of Science Tokyo, Japan)