面向可穿戴手势交互设备的肌电与惯性信号处理文献综述

1. 引言

现代社会智能化程度日益增强，大量智能软件和智能硬件层出不穷，但目前人们操作这些软硬件的手段相对单一且受到很多限制。通过穿戴手势交互设备，对手势动作的肌电信号和惯性信号进行特征提取，从而可以实现手势识别。肌电信号是产生肌肉力的电信号根源,在生物机理上它是许多运动单元产生的动作电位序列的总和。肌电信号在基础研究、临床诊断和康复工程中均有广泛的应用。人们利用肌电信号来产生所需要的电刺激或反馈调节作用。所有这些研究的关键在于对肌电信号的实时、快速、有效的分析，从而提取有效特征，才能更好地应用于其他领域，诸如体力负荷评价，基于肌电信号的控制设备等^[1]。

基于惯性传感器的手势识别研究始于20世纪90年代末。比如，使用基于数据手套的加速度传感器系统进行德语手语识别，识别率达到96%。手势交互是近几年人机交互领域的研究热点，与传统人机交互模式相比，基于手势的交互更自然便捷。目前主流的手势识别方法是运用摄像设备捕获人的手势动作图片，通过提取手形轮廓进行动作识别^[2]。由于人手是复杂变形体，手势具有多样性、多义性以及时间和空间上的差异性等特点，因此基于视觉的手势识别难以取得突破性进展。微型化、低功耗电子器件技术的飞速发展极大地推动了可穿戴设备的研究，基于加速度传感器的惯性测量单元能嵌入到几乎任何界面或设备中直接测量手势动作信息，同时，移动计算技术的发展和普及也为实时手势识别提供了支撑环境。基于可穿戴传感器的手势交互逐步引起重视^[3]。

1. 可穿戴手势交互设备的应用

近年来在国际计算机学术界及工业界悄然兴起了对可穿戴式设备的研究热潮,初级产品已经问世并推向市场,其发展势头迅猛,形势逼人。是未来新概念的移动计算系统,应用潜力巨大,它是随着计算机及相关元、器件不断向超微型化发展应运而生的,也是人们追求“计算机应以人为本”这一理念的必然产物，手势交互在智能产品中的应用，可以为更广泛的人群（如残障人士）提供使用产品的途径，而当手势交互技术在穿戴设备中发挥功用时，鉴于可穿戴设备鲜明的特征，有望见证更多极具创意的，精度更高的，交互更自然的可穿戴设备^[4]。

Leap Motion是一款三位鼠标，是手势交互的商业应用的典型，借助其传感器能从不同的角度捕捉画面，重建出手掌在三维空间的运动信息。检测范围在传感器上方约25mm到600mm之间，其空间形状是一个倒置的四棱锥体^[5]。2013年，来自加拿大的Thalmic Labs公司推出了一款终端控制设备——Myo智能腕带。Myo的中文意思是肌肉，用户的手臂肌肉在运动中会产生生物电位变化，Myo腕带的感应器能捕捉这些电位变化信息，从而判断佩戴者的意图，经过电脑分析处理后的命令通过蓝牙发送至控制设备^[6]。Myo开发出的机器算法，能识别更多的手势（20种左右），可以将其视作一个开放的手势识别平台，用户除了利用Myo操控电脑和电视机，甚至可以操作智能电器和飞行器^[7]。

1. 国内外研究现状

随着智能技术和普适计算机的深入发展，基于自然手势识别的人机交互成为现代人机交互研究的热点课题，目前手势识别研究根据采集设备的不同可以分为基于视觉技术的和佩戴传感器技术的。基于视觉的手势识别通过摄像设备采集手势的动作信息作为交互信息来完成交互任务；基于传感器的手势识别则是要求用户通过佩戴传感器来获取数据信息以完成交互工作。这些交互任务让用户不需要花费额外的时间和精力去学习特定设备的使用方法^[8]。

在早期的手势识别研究中，多是基于静态图像处理的方法。Charayaphan和Marble通过用图像处理的方法从31个美国手语词中正确识别出其中的27个^[9]。Starner采用基于视觉的处理方法结合HMM模型，从二维图像中提取特征向量，对40个词构成的具有很强语法约束的短小语句进行识别，识别率为99.2%。Grobel和Assan要求用户带上有色手套，通过采集连续的视频图像对262个孤立手语词进行识别，识别率达到91.3%。美国麻省理工MIT多媒体实验室的Starner和Werver使用固定在桌面的谁昂集采集用户带上有色手套的手势数据作为输入信息，分别得到：有语法限制的语句的手势识别率为91.9%，没有语法限制的语句的手势识别率为74.5%^[10]。一般情况下，多数研究采取单目成像设备（一个摄像头）获取图像信息，采集的数据量相对较少，计算的速度就会比较快，但采集的手势数据所是二维数据，如果想要建立三维模型就要通过一些算法来进行重建，增加了研究的复杂程度，而且重建的模型与实际手势的三维数据信息可能不一致^[11]。也有研究者使用两个或者以上的成像设备，从不同角度采集手势图像信息。如：Lee用8个摄像头采集了20个静态手势的数据信息，并对这些手势进行识别。Vogler与Metaxas用一个位置跟踪器及三个互相垂直的摄像机采集手势信息，通过采集到的数据信息对孤立词进行识别，识别率为89.9%^[12]。

二十世纪末，一些研究者将采集设备的焦点转移到了传感器上来。早期IBM研发出了一款能自动感知运动状态的感知设备，将其应用到了玩具和日常工具中去。按照传感器的类型大致可以分为加速度传感器，重力传感器，表面肌电信号数字传感器，数据手套等。

1）Compaq公司研发的Itsy系统通过加速度传感器获取交互信息以实现图片的滚动和缩放等功能。Compaq公司的发言人Gary Frazier称“此产品旨在探索手持和可穿戴计算的未来派思路”^[13]。Itsy是一款集中大量的多媒体功能于一身的效型设备，在电源管理，友好的用户界面，网络连接，应用程序的开发上都能轻松实现，多媒体功能也极为出色，可以通过上下左右晃动它来指挥人物的行动方向，向前倾斜就向前跑，向右倾就向右转就像在使用游戏手柄一样。传感器按照其佩戴的位置又可以分为GestureWrist和GesturePad，前者将传感器佩戴于腕部；后者则是将传感器分别放置在测试者的衣服的衣领，口袋，袖口等部位来对前臂的运动信息进行识别。Baek J和Jang I等人运用二维加速度传感器采集测试者连续的动作和姿态的数据信息，通过两轴上的加速度改变量来判断用户手持手机的运动状态^[14]。