日常生活における手指の細やかな操作（例えば，スマートフォンのスクロールとタイピングの違い）は，接触の仕方や指先の動きに大きく依存しています．このような違いを捉えることができれば，より詳細なライフログの取得や，日常物体を入力デバイスとして活用する新しいインタフェースの実現につながります．しかし，従来のウェアラブル手法（慣性センサ単体・超音波センサ単体）では，手首や腕の動きは捉えられても，指先の接触状態までは十分に観測することができませんでした．
そこで本研究では，手形状の再構成を介さずに，超音波反射信号とIMU信号の時系列を直接統合して扱うマルチモーダル認識手法「Shape-N-Motion」を提案します．本手法では，手首に装着したデバイスにおいて，指先方向に向けて配置した超音波センサとIMUを組み合わせて使用します．超音波センサは指先近傍の接触状態に応じた反射変化を捉え，IMUは手首や腕の運動を捉えることで，両者が相補的な情報を提供します．これらの信号はそれぞれ別々のエンコーダで特徴抽出を行い，その後に統合して分類に用います．具体的には，超音波信号については短時間フーリエ変換（STFT）により時間周波数表現に変換し，BiLSTMと注意機構を用いて局所的な反射変化を強調します．一方，IMU信号については畳み込みとTransformerを組み合わせることで，短期的な変化と長期的な運動パターンの両方を捉えます．このように，接触状態に関する情報と運動に関する情報を同時に扱うことで，従来は困難であった細粒度な手指操作の識別を可能にしています．
評価の結果，本手法は従来手法（IMU単独やIMU＋音響ベースライン，超音波単独手法）を上回る性能を示しました．特に，手首の軌道が類似している一方で，指先の接触状態や接触の変化が異なる操作において，識別性能の向上が顕著に見られました．また，参加者間汎化（LOPO: Leave-One-Participant-Out）においても性能の改善が確認されており，個人差に対しても一定のロバスト性を有することが示唆されます．これらの結果は，超音波により捉えられる接触状態に関する情報と，IMUによる運動情報を統合することの有効性を示すものです．以上より，本研究は，接触状態に着目した新たなウェアラブルセンシングにより，これまで困難であった細やかな手指操作の理解を可能にするものです．
— 関連研究 —
[1]L.C.Jung+, EchoWrist: Continuous Hand Pose Tracking and Hand-Object Interaction Recognition Using Low-Power Active Acoustic Sensing On a Wristband, CHI ’24
Publications
Kaito Fujishige, Kota Tsubouchi, Yuuki Nishiyama, Masamichi Shimosaka.
Shape-N-Motion: Fine-Grained Hand Object Manipulation Recognition with Ultrasonic and IMU
PerCom’26: Proceedings of the IEEE International Conference on Pervasive Computing and Communications (PerCom), Pisa, Italy, Mar. 16–20, 2026.
藤重 凱人, 北森 迪耶, 林 翰, 下坂 正倫.
複合ウェアラブルセンサによる物体操作認識の検討.
情報処理学会研究報告 第85回UBI研究発表会, 大阪府大阪市, 2 2025.