近年，日常生活におけるライフログの取得は，高齢者の体調評価や行動理解，生活行動の最適化などの観点から重要性を増しています．特に，手による物体操作は，スマートフォンの操作，筆記，調理，工具の使用など，日常生活の多くの場面に現れるため，これを詳細に認識できれば，より精緻なライフログの取得や，日常物体を入力デバイスとして活用する新しいインタフェースの実現につながります．

しかし，従来のウェアラブルセンシング手法では，手首や腕の動きは捉えられても，指先の接触状態や細かな操作の違いを十分に観測することは困難でした．例えば，スマートフォンのスクロールとタイピングのように，手首の軌道が類似していても，指先の接触の仕方や接触変化が異なる操作では，慣性センサ単体による識別には限界があります．また，超音波センサ単体でも，手や物体との反射変化は捉えられる一方で，腕全体の運動情報を十分に扱うことは困難です．

本研究では，この課題に対して，超音波反射信号とIMU信号の時系列を直接統合して扱うマルチモーダル認識手法 Shape-N-Motion を提案します．本手法では，手首に装着したデバイスにおいて，指先方向に向けて配置した超音波センサとIMUを組み合わせて使用します．超音波センサは指先近傍の接触状態に応じた反射変化を捉え，IMUは手首や腕の運動を捉えることで，両者が相補的な情報を提供します．

提案手法では，超音波信号とIMU信号をそれぞれ別々のエンコーダで特徴抽出し，その後に統合して分類に用います．具体的には，超音波信号については短時間フーリエ変換（STFT）により時間周波数表現へ変換し，BiLSTMと注意機構を用いて局所的な反射変化を強調します．一方，IMU信号については畳み込みとTransformerを組み合わせることで，短期的な動きの変化と長期的な運動パターンの両方を捉えます．このように，接触状態に関する情報と運動に関する情報を同時に扱うことで，従来は困難であった細粒度な手指操作の識別を可能にします．

本研究の前段階では，操作対象を認識するRGBセンサ，手指の形状や動きを捉える超音波センサ，腕の軌道や手の動きを捉えるIMUセンサを統合した複合ウェアラブルセンシングシステムについて検討しました．この検討では，センサの組み合わせごとの認識精度を比較し，センサ構成が物体操作認識に与える影響を分析しました．また，RGBセンサの配置に着目し，イメージセンサの設置位置と認識性能の関係についても評価しました．

評価の結果，Shape-N-Motionは，IMU単独，IMU＋音響ベースライン，超音波単独手法を上回る性能を示しました．特に，手首の軌道が類似している一方で，指先の接触状態や接触変化が異なる操作において，識別性能の向上が顕著に見られました．また，参加者間汎化（LOPO: Leave-One-Participant-Out）においても性能改善が確認され，個人差に対しても一定のロバスト性を有することが示唆されました．これらの結果は，超音波により捉えられる接触状態の情報と，IMUによる運動情報を統合することの有効性を示すものです．

以上より，本研究は，接触状態に着目した新たなウェアラブルセンシングにより，これまで困難であった細やかな手指操作の理解を可能にするものです.

— 関連研究 —
[1]L.C.Jung+, EchoWrist: Continuous Hand Pose Tracking and Hand-Object Interaction Recognition Using Low-Power Active Acoustic Sensing On a Wristband, CHI ’24

Kaito Fujishige, Kota Tsubouchi, Yuuki Nishiyama, Masamichi Shimosaka.
Shape-N-Motion: Fine-Grained Hand Object Manipulation Recognition with Ultrasonic and IMU
PerCom’26: Proceedings of the IEEE International Conference on Pervasive Computing and Communications (PerCom), Pisa, Italy, Mar. 16–20, 2026.

藤重 凱人, 北森 迪耶, 林 翰, 下坂 正倫.
複合ウェアラブルセンサによる物体操作認識の検討.
情報処理学会研究報告 第85回UBI研究発表会, 大阪府大阪市, 2 2025.