多触点交互桌面左右手区分方法

随着普遍计算、人机交互、计算机辅助协同设计等技术的不断发展，以传统围桌为隐喻的多触点数字交互桌面应运而生.这种数字设备使人们摆脱了鼠标键盘的束缚，可以直观自然地操作类似于日常操作桌面对象的数字内容.互动桌面在教育、医疗、设计、军事、娱乐等领域具有广阔的应用前景.

交互桌面以自然多指手势为主要交互方式.对现有交互桌面手势交互技术进行总结可发现[,目前,交互桌面上使用的多为单手多指手势如多指放大、缩小、拖动,或者双手对称手势如双手放缩、旋转等,双手非对称交互用得很少.然而，文献[研究表明，在日常生活中，单手行为和双手对称行为较少，双手不对称是人们使用最多、最自然的行为.在文献[中，双手非对称交互技术的使用也间接说明了双手非对称交互在交互桌面上的自然性和直观性.此外，文献[还指出，左手和右手之间的分工对任务的完成有很大的影响.支持双手非对称交互的关键点之一是区分用户的左右手，只有在此基础上，左手和右手才能分配不同的任务.

然而,目前主流的交互桌面系统[只能提供手指触点的位置和形状信息,触点的左右手归属信息通常均需凭借额外的硬件设备[,或者会对用户的交互有所限制,如使用某只手交互之前必须同时使用5个手指进行手指注册[.本文从交互桌面的交互特征出发Nielsen手势设计原则[为指导，提出了交互式桌面手臂系统的三角形模型，并定义了交互式桌面用户双手交互的手势空间。在此基础上，提出了多触点交互式桌面类方法和左右手识别方法.该方法基于人机工程学原理，无需辅助硬件设备，可在用户自然交互输入开始时提取左右手信息.

本文的主要贡献如下： 首先，提出了适用于交互桌面交互的手臂系统三角形模型；第二，提出了交互桌面接触聚类方法；第三，提出了交互桌面左右手识别方法；第四，多接触跟踪包MTDriver[扩展，实现左右手信息可发送触点EMTDriver;其五,基于左右手信息的交互桌面双手非对称交互技术设计了一系列.

1相关工作

由于成本低、实现简单，基于计算机视觉模式的交互式桌面已成为构建交互式桌面的主流方式.实现原理主要有FTIR技术[、DI技术[、LLP技术[等.该系统可以捕获用户输入的触点点信息，并提供触点位置、触点面积等信息，但通常不包括触点左右手归属信息.Diamondtouch[使用电容传感检测用户输入，通过将人和座椅连接到传感电路，可以判断输入来自哪个用户，但只提供用户身份信息不包括具体的左右手信息.

获取交互桌面触点手的信息可进一步增强交互桌面系统的交互能力,这已经引起了研究人员的极大兴趣. Benko等人[用肌肉传感器感知用户当前手指的运动，用这种方法可以提取一只手的手指信息，如食指或中指，但目前点的左右手归属无法判断.Marquardt等人[使用fiduciary-taggedglove识别指尖、手掌、手背、手侧等用户手各部分的信息，区分同一用户的不同手和多个用户的手.Dohse等人[通过在交互桌面上方添加摄像头来跟踪用户的手，将触点检测与手跟踪结果相结合，获取触点所属的手信息.类似地, Wilson等人[在桌面顶部添加深度相机，用深度相机获取手指接触用户、用户手臂和用户手的信息. Murugappan等人[还使用桌面顶部的深度相机获取触摸手归属、手的左右手性和手的姿势等信息.虽然这些方法可以为用户提供左右手信息，但需要额外的硬件设备，一方面增加了系统的成本，另一方面也增加了系统的复杂性.

提取手信息也有一些基于软件的方法.Dang等人[用手指触点的距离、方向和运动信息来区分当前的输入触点是来自同一只手还是不同的手.本文使用的接触信息与该方法相似，但在接触信息的基础上添加了用户的行为习惯和人体工程学约束信息，这使得该算法不仅可以判断接触是否来自同一只手，而且可以判断这只手是左手还是右手.Franks等人[利用人手解剖学的特点构建人手体验模型，并构建决策树分类器来区分用户的左右手.Au等待[提出一种交互桌面手指注册方法，用户可以将所有手指放在交互桌面的任何位置完成手指注册，系统首先根据手指接触中心点与手掌连接之间的角度判断拇指，在此基础上，可以判断每个手指触点对应的手指名称，也可以判断手是左手还是右手.该方法要求用户在操作前使用一只手的所有手指进行注册.没有这种约束，用户可以自然地与系统互动.Micire当用户将手放在界面上时，可以检测当前手是左手还是右手，但该方法还要求手的五个手指同时操作.

在文献[中，Wang等人提出可用手指触点方向角信息推测触点手、用户身份等信息.受本文思想的启发，本文根据手的解剖结构特点，分析了左右手指触点方向角的不同特点，并提出了一种不辅助硬件设备的触点左右手识别方法.

手臂系统三角形模型

基于软件的现有触点左右手识别方法的识别原理主要是利用用户手拇指的特殊性，根据拇指的位置判断触点的手.这种方法的缺点是要求用户同时输入五个手指，这在很大程度上限制了用户的交互.为了消除对用户的限制，本文提出了手臂系统三角形模型来判断手指触点的左右手性.该方法对用户使用手指的数量没有限制，可以识别用户在自然舒适条件下操作的任何多个手指的左右手.

Nielsen指出，基于用户的手势设计应遵循四个核心指导原则[：易于操作和记忆、直观、与特定功能相关，并应满足人体工程学设计.由于人手解剖结构的限制，如果手势设计不合理，人的手腕和手指只能在一定范围内移动，会使手负过重，受伤.Nielsen给出手势设计中应考虑的六个人体工程学原理：避免身体处于极端位置，尽可能放松肌肉，尽可能放松身体处于极端状态的中间位置，避免身体运动的重复，避免保持一定的姿势，避免关节力.与桌面交互相关的手腕运动包括伸展或屈曲、绕尺骨或桡骨偏离，如图 1所示.

图 1

Fig. 1Fig. 1 Range ofwrist movements图 1 手腕活动范围

Wobbrock[用户研究交互桌面上的27个常用命令，并统计用户习惯使用的手势，如右手食指Tap手势可用于选择单个对象.对Wobbrock定义的27种常用手势进行观察,可总结出用户在交互桌面上操作习惯使用的手指配置关系有:

1)大部分手势由1个、2个、3个或5个手指完成；

2)用食指完成一个手指的所有操作；

3)拇指-食指或食指-中指操作两个手指；

4)拇指-食指-中指或食指-中指-无名指操作三个手指；

5)拇指-食指-中指-无名指或食指-中指-无名指-小指手术.

在Vennelakanti对多指交互用户行为习惯的研究也有类似的结论.考虑到双手的不对称交互，双手十指的可能组合共有(1 2 2 2 1)x2 (1 2 2 2 1)2=80种.使用上述手指组合的用户可以做静态手姿、动态手姿、轨迹静态或动态手姿[.

自然多指手势交互是交互桌面上最重要的输入方式。为避免用户长时间操作造成的不适，在设计手势时，应尽量避免手腕绕桡骨和尺骨偏差，使手腕处于中性位置；对于带轨迹的静态或动态手势，用户手腕在轨迹初始输入时应尽可能自然伸直.从图 1可以看出,当用户的手处于桡骨和尺骨的中性位置时：当用户的四个手指（拇指除外）并拢时，四个手指的方向与手腕的方向一致；当四个手指自然张开时，中指的方向与手腕的方向基本一致.当用户单手指操作时，通常使用食指，手指方向与前臂几乎一致；当单手多手指同时操作时，四指方向角的平均值也非常接近中指方向角，因此，用户四指的方向角可以用前臂的方向近似地表示.对于用户手可以到达的操作区域的某个位置，用户可以用左手或右手操作，但使用不同的手的前臂方向会有明显的差异，不会因为用户的身体扭曲或手臂的伸长和缩短而改变.用户的身体、前臂和手(不包括拇指)可以抽象成如图所示 三角形模型，通过该三角形模型,可明显看出左右手在操作时的差异.三角形由用户的手、前臂、前臂延长线和肩连线组成。随着身体的扭曲，三角形也会旋转，如图所示 中虚线三角形所示.图中长虚线对应于用户身体中心的屏幕位置和屏幕中操作对象的连接.由图 可以看出，对于屏幕上同一被操作对象，使用左手操作，左前臂的方向总是小于基准角度（长虚线与X轴的夹角），即手指触点的方向角小于基准角度；同样，使用右手，触点的方向角总是大于基准角度.因此，触点左右手的归属可以根据触点角度来判断.三角形模型适用于用户的单手手指操作和单手多手指操作.单手操作多个手指，多个手指触点方向角的平均值可以用这个平均角度与长虚线的角度进行比较.建立如图所示，以澄清手指方向角的含义 三、所示坐标系，X轴与用户所在的一侧平行，手指的方向角是指触点拟合椭圆长轴延长线和X轴的夹角q,其取值范围为(0°~180°).对于每个手指触点，四元组均可使用Finger={center,q,a,isLeft}描述，包括，center拟合椭圆的中心点(x,y),q手指方向角，a是触点位置的基准角度，isLeft触点左右手性.接下来，我将讨论左右手的区分方法.

图 2

Fig. 2Fig. 2 Hand-Arm triangular model图 2 手臂系统三角形模型

图 3

Fig. 3Fig. 3 Finger contact coordinate system图 3 手指触点坐标系

3多触点交互桌面左右手区分方法

3.1多触点交互桌面左右手区分方法概述

多触点交互桌面左右手区分方法流程如图所示 4所示.

图 4

Fig. 4Fig. 4 Left-Righthand recognizing flow chart图 4 左右手区分方法处理流程

区分过程主要包括三个步骤：原始图像预处理、触点聚类和左右手判断.预处理过程主要用于计算后续手指聚类所需的基本信息，包括一系列原始图像处理、手指触点方向角和辅助数据模型排斥矩阵、距离矩阵的初始化.触点聚类过程主要用于将属于不同手的触点分类,虽然双手交互过程中用户手指的使用具有很大灵活性,但由于人手解剖结构的约束,其可能性空间大为减少.本文按照触点两两之间的距离分情况讨论,针对每一距离阈值范围定义相应的判定条件,如同手手指两者之间的距离不可能大于某一阈值、同手相邻较近的两手指触点方向角角度差不可能大于某一阈值等,根据这些条件判定两触点属于同手还是不同手,以此为据更新互斥矩阵直至将所有触点均分类.最后,根据触点所在位置以及手-臂系统三角形模型判定触点左右手.下面将详细介绍上述3个步骤.

3.2预处理

触点左右手归属判定的一个重要依据是手指触点方向角,触点方向角获取的准确度会直接影响判定效果,预处理过程的关键在于计算正确的触点方向角.一般的计算方法是对图像进行二值化,在轮廓提取的基础上做椭圆拟合,但由于交互桌面上的红外光照射不均匀,手指个数较多时会出现相邻触点遮挡现象,此时,将二值化阈值设置过大会产生多个小碎片区域,也即1个手指触点被检测为多个手指;将二值化阈值设置过小会产生一个大的粘连区域及多个手指触点被检测为1个手指,故使用二值化方法检测触摸手指的准确度很低.本文基于文献[中检测极值点的思想对图像中的触点区域进行检测.方法流程如图 5所示.首先,对原始图像做背景去除、高通滤波、图像增强处理;然后遍历图像的前景像素,前景像素值大于八邻域的像素点即为一个极值点,然后以极值点为中心检测触摸区域;对检测的触摸区域逐一作椭圆拟合,考虑到交互桌面交互的实时性要求,此处椭圆拟合所用方法为计算待拟合轮廓的轮廓线上相邻最远的两点连线作为拟合椭圆的长轴,短轴长度为长轴长度的一半,拟合椭圆长轴与X轴正向的夹角即为相应手指触点的手指方向角.文献[中通过构建区域树使用基于跟踪的方法解决触摸碎片和触点粘连的问题,由于本文左右手区分方法旨在用户初始输入的时刻即可给出触点的左右手信息,故仅利用了检测到新增手指的帧图像,对连通且较小的区域直接融合,连通且较大的区域则作为两个手指触点区域,经过多次测试选取经验阈值150像素.图 6为部分区域检测结果,黑白图为图像增强后的效果,对应的灰度图为区域检测结果,图 6(a)为触点遮挡较严重情况下的区域检测效果,图 6(b)为手指触点断裂情况下的区域检测效果,图 6(c)为触点粘连情况下的区域检测结果.

图 5

Fig. 5Fig. 5 Preprocessing图 5 预处理流程

图 6

Fig. 6Fig. 6 Touch regionsdetecting results图 6 触摸区域检测结果

在触点聚类过程中,会用到两个很重要的数据模型:互斥矩阵及距离矩阵.互斥矩阵是触点聚类的重要依据,互斥矩阵Rnumxnum=(rij)numxnum中保存图像中手指两两之间同手及异手的情况,其中,num表示当前手指触点的个数.在预处理过程中对R初始化,初始状态rij=2,表示手指Fi与Fj尚未分类.在聚类过程中,若确定Fi与Fj不属于同一只手,则置rij=0;若属于同一只手,则置rij=1,聚类的过程即为更新该互斥矩阵的过程.距离矩阵Dnumxnum=(dij)numxnum中保存图像中手指两两之间的距离,触点Fi与Fj之间距离

为触点拟合椭圆中心点之间的距离,初始状态dij=0.此外,使用Handness数组保存触点分类结果,H[i]=1表示触点Fi属于1类,H[i]=2表示触点Fi属于2类,iÎ[1~num],初始H[i]=0.

3.3触点聚类

利用上述三角形模型,可准确地识别四指的左右手手性,但由于大拇指的特殊性,给左右手区分带来了很大难度.为此,当同时输入的触点个数大于1时,首先需要将属于同一只手的触点进行聚类,然后再利用三角形模型做左右手识别.触点聚类过程根据触点两两之间距离的不同,分3种情况依次进行处理.触点聚类使用的3个距离阈值分别为:同手相邻两指(不包括大拇指)最大距离Dadj,同手大拇指与食指最大距离Dthumb,同手手指最大距离Dmax.此处3个阈值的取值分别是:Dadj为30,Dthumb为60,Dmax为75,单位均为像素.聚类过程依次分dij>Dmax,dij< Dadj,Dadj

判定1:若两触点距离dij>Dmax,则Fi与Fj属于不同手.这一判定条件可以有效地判定两手相距较远的情况;对两手相距较近且手指个数较多的情况,可以确定部分触点之间的关系.在如图 7(a)、图 7(b)所示双手相距较远的情况下使用判定1可有效判定触点间同手或者不同手关系;在如图 7(c)、图 7(d)所示双手相距较近的情况下,通常可判定手指1与手指9、手指10不同手,手指6与手指4、手指5不同手.

图 7

Fig. 7Fig. 7 Handspositions图 7 双手位置

判定2:若两触点距离dij

图 8

Fig. 8Fig. 8 Closercontacts orientation angles relationship图 8 相距较近触点角度关系

判定3:两触点距离dij处于阈值范围Dadj

图 9

Fig. 9Fig. 9 Possiblefingers positions图 9 手指可能位置

上述3步判定按顺序依次进行,每一步判定的结果均保存在互斥矩阵中.互斥矩阵初始化后只做一次赋值,也即以首次判定结果为准,每次判定结束后按照互斥矩阵对触点做一次分类,若不能将所有手指分类,则进入下一步判定,触点分类初始化后也只做一次赋值.

3.4左右手识别

触点聚类将属于同手的触点归为一类,左右手判定将识别某类是左手触点还是右手触点.判断当前分类的个数,若有两类,则选取触点个数较少的一类做判断,另一类的手性可随之确定,具体识别方法如下:

首先,根据该类触点重心所在交互桌面位置作初步判断.用户双手在大幅面交互桌面上的操作范围受限于手臂长度.中华人民共和国电力行业标准(DL/T 575.3-1999)对控制中心用户坐姿状态时人手可及范围与操作区域进行了详细划分,如图 10所示.这一划分对于交互桌面同样适用.用户在交互桌面上操作时,其左右手分别可及范围是有限的,桌面上的某些区域只有左手可及为左手操作区,某些区域只有右手可及为右手操作区,某些区域双手均可及为双手操作区.可首先根据触点位置判断触点左右手归属,若触点在左手操作区则属于左手,若触点在右手操作区则属于右手,若触点在双手操作区则需做进一步判断.若该类触点个数大于1,则可计算该类触点重心,根据重心所在区域判断该类触点手性,如果重心位于双手操作区则做下一步的判断.

图 10

Fig. 10Fig. 10 Consoledesktop hands available areas图 10 控制台台面上双手可操作区域

其次,对处于双手交互区的触点类,根据该类触点的个数分情况做判断.触点个数若为1,则该触点为食指,根据三角形模型判断该点手性;若为2,则为食指与大拇指或者食指与中指,判断两触点中心点之间距离,若距离Dmin

图 11展示了输入为1~10个手指触点时分组及左右手识别的部分实验结果,每组结果的左边为原始图像,右边为识别结果.其中,分组结果用字母和数字表示,大写字母表示未分类,小写字母为一组,数字为一组;左右手识别结果用不同拟合形状表示,矩形表示左手触点、椭圆表示右手触点.1个手指输入时,如图 11(a)、图 11(b),触点无分组信息但仍可提供左右手识别信息;本文方法可识别1~10个任意个数的手指输入;可支持单手操作、双手对称及不对称操作;支持双手的自然交叉操作,如图 11(o)所示.

图 11

Fig. 11Fig. 11 Clusteringand left-right hand recognizing results图 11触点分组及左右手识别结果

4 交互桌面左右手区分方法的应用

我们将本文左右手区分方法集成到MTDriver[工具包中.MTDriver是一个基于视觉原理的多触点交互桌面多点检测跟踪工具包,通过处理原始输入的视频流,向应用程序发送触点的添加、更新、移除等信息.扩展后的MTDriver可以向应用程序实时发送带有触点左右手信息的触点数据.利用该左右手信息可辅助多指手势识别,也可设计双手非对称交互技术.

4.1左右手区分方法与MTDriver的集成

将左右手区分方法集成到MTDriver工具包后,EMTDriver(extended MTDriver)的数据流程如图 12所示,橙色部分为新扩展部分.视频帧经背景去除、图像增强、高通滤波等一系列图像处理后,对输出图像做区域检测、触点跟踪.对一帧图像跟踪结束后,若此帧图像有新增手指触点,则调用左右手区分方法对本帧图像进一步处理以提取新增触点左右手信息,该左右手信息通过触点跟踪传递给下一帧更新的点.此处需要注意的是,虽然是对同一视频帧进行处理,但触点跟踪所得手指触点与左右手区分算法所得手指触点的触点中心并没有完全重合,有时会有微小的偏差,需要对两个处理结果做最近邻触点配对.发送的触摸事件中添加触点左右手信息,TUIO触点模型中也需要添加触点左右手信息.EMTDriver集成效果如图 13所示,其中,图 13(a)为EMTDriver跟踪识别效果,矩形表示左手,椭圆表示右手;图 13(b)为基于TUIO客户端开发的多点触摸应用程序,该程序可绘制当前输入触点的轨迹及左右手信息,其中,空心圆表示左手,实心圆表示右手,圆点表示手指当前位置,线段表示手指划过的轨迹.由于EMTDriver基于多触点信息发送通用协议TUIO,所以基于TUIO协议的多触点应用程序可以很方便地使用EMTDriver提供的左右手信息,而且EMTDriver的使用不会对现有多触点应用程序造成任何 影响.

图 12

Fig. 12Fig. 12 EMTDriverdata flow图 12EMTDriver数据处理流程

图 13

Fig. 13Fig. 13 EMTDriverintegration effects demo图 13EMTDriver集成效果示意图

4.2EMTDriver的应用

Guiard在文献[中指出,双手非对称行为是人们日常生活中使用最多也是最自然的行为.本文方法获取的用户左右手信息相当于拓宽了多触点交互桌面的输入带宽,可以用来实现更为自然、直观的多触点交互桌面交互技术.下面将举例说明左右手信息在交互桌面中的应用.

例1:文本输入控制.通常在多触点交互过程中,当需要文本输入时,需要使用菜单显式地调用虚拟键盘,并且将虚拟键盘的输入方式通过按钮显式地转化为手写输入.从日常生活和工作中可以看到,人们在需要书写的时候,总是左手按纸右手执笔写字.以此为启示,在特定上下文中,可以将左手多指输入信息作为文本输入的起始条件,然后,系统切换到文本输入状态,然后,右手使用手指进行手写输入.

例2:三维交互控制.对三维空间中物体的控制需要6DOF,分别为绕空间坐标系3个坐标轴的旋转[y,q,φss]以及在3个坐标轴上的位移[dx,dy,dz].交互桌面多指(手指个数不小于2)输入为3DOF,即[dx,dy]及绕Z轴的旋转[φ].在区分左右手、使用双手多指输入(每只手使用的手指个数不小于2)的情况下,可以提供6DOF的输入,问题的关键在于:如何对左右手进行分工,才能使3D交互控制自然而直接.通常情况下,人们总是习惯左手把持、旋转物体,并使用右手指点物体;在左手把持物体时,右手旋转物体,如拧螺丝或者拧瓶盖,顺时针可使物体上移、逆时针可使物体下移.受此启发,可以使用左手控制3D物体的旋转操作,右手控制3D物体的平移操作.具体而言,可使用左手的上下操作控制角度y即绕X轴的旋转,使用左手的左右操作控制角度q即绕Y轴的旋转,使用左手的旋转操作控制角度f即绕Z轴的旋转,使用右手的左右操作控制dx即X轴的平移,使用右手的上下操作控制dy即Y轴的平移,使用右手的旋转操作控制dz即Z轴的平移.如图 14所示,图中箭头方向表示手指的移动方向.

图 14

Fig. 14Fig. 14 Right-Lefthands used in 3D interaction图 14 左右手用于3D交互控制

例3:浮动工具条的控制.目前,交互桌面上的工具条存在以下一些问题:① 工具条的图形界面通常都要占用较大的屏幕空间,尤其是在交互桌面环境下,由于有“胖手指”的问题,通常将界面控件设计得比较大;② 基于视觉的交互桌面,由于硬件原理的限制,在桌面靠近边缘的位置进行输入的时候会出现输入不准确的情况.可以以画家的“调色板”为隐喻,将工具条设计为可浮动的,左手控制工具条的位置,右手选取当前上下文所需命令,如图 15所示.

图 15

Fig. 15Fig. 15 Free to stoptoolbox图 15随意停工具条

5 实验评估

实验评估内容包括:用户自然操作情况下手指触点聚类结果的正确率、聚类基础上左右手识别的正确率以及触点左右手识别的正确率.实验使用的多触点交互桌面基于LLP(laser light plane illumination)技术,其长、宽、高分别为140cm,104cm,90cm.软件平台的配置为MicrosoftWindows XP Professional版本2002 Service Pack 3.实验邀请了12名研究生(6男6女,均习惯用右手)参与,年龄为23岁~29岁.

用户任务为逐一完成本文第2节中定义的80个手势,用户手做好手势后,以自然舒适的方式将手置于交互桌面上,实验人员使用flycap软件以图像方式保存用户输入,同时使用相机拍摄用户双手实际操作情况,用于后期与识别结果做参照.拍照完成后,用户抬手,换做另一手势.每一手势重复3遍,其中有1遍实验人员会提醒用户双手相距近一点,其余2遍无特殊提示,用户根据直觉进行输入.在实验1中,本文选用图像方式保存用户输入,用户每次输入均需放手、抬手,通过用户手的多次放置,可模拟用户在实际交互操作中双手初始输入时的情况,实验结果可间接验证三角形模型的可靠性.

实验中,我们总计获取了12x80x3=2880张手指触点图片,其中有7张图片由于用户手指输入方向过于垂直,产生的触点接近于圆,故将其去除,还剩2 873张图片,共15505个触点,分类正确的点的个数总计14 759个,分类正确率为95.2%.在分类正确基础上,左右手识别正确的触点个数为14 165个,识别率为96%.本文方法左右手识别的平均识别率为91.4%,与文献[中给出的基于特征的区分方法的识别率80%相比有明显的提高.图 16了给出本文方法在触点个数为1~10时触点分类正确率、分类正确情况下的左右手识别率以及相应触点个数下的左右手识别率.本文方法在触点个数为1时,左右手识别率为97.2%,与文献[中给出的方法相比,不仅能够识别单个触点情况下的触点手性,而且具有较高的准确率,在触点个数为1情况下的正确率也反映了手-臂系统三角形模型的可靠性;当触点个数为2时,触点分类正确率最低,触点聚类正确率为90%、左右手识别率为86.4%;此后,随着触点个数的增加,触点聚类与左右手识别正确率均呈上升趋势,在触点个数为10的情况下,触点聚类正确率达98.9%,左右手区分正确率达98.3%.

图 16

Fig. 16Fig. 16 Accuracy of clustering andleft-right hand recognizing图 16 触点聚类及左右手区分正确率

当手指个数较少(1~4个)时,触点分类可利用的信息较少,判定结果主要受触点方向角准确度的影响.单个触点情况下,由于不存在触点遮挡、粘连等问题,手指方向角正确率较高,因此,1个手指输入时的识别率较高.2个触点情况下,实验中导致分类错的主要原因为有的用户在输入食指-中指组成的手势时,习惯于将两手指相距很近甚至并拢,导致出现触点粘连方向角计算错误;在方法设计过程中考虑到的将一手食指误识为另一手大拇指的错误情况在本实验中并没有出现,一个可能的原因是这种姿势并不自然,出现的概率很小.随着手指个数的增加,分类准确率也相应地增加.当手指个数较多时,由于手指相互之间相距较近,正确率主要受触点粘连的影响.在下一步工作中,我们将深入研究触点方向角精确提取方法.

图 17给出了不同手指个数下的识别时间.图 17表明,本文提出的方法在不同手指个数下的识别时间较为稳定,平均用时11.55ms(SD=2.3ms),最大值16ms,可满足交互桌面交互实时性要求(通常情况下,帧率在30Hz以上用户即可接受[,对应的每帧处理时间为33.3ms).

图 17

Fig. 17Fig. 17 Execution times of left-right handrecognizing图 17手指左右手识别用时

6 结束语

触点所属手及左右手手性信息的提供,对于多指手势识别、丰富双手交互技术,尤其是非对称双手交互技术具有重要意义.本文针对目前主流交互桌面设备缺少触点左右手信息这一问题,提出一种便捷的多触点左右手归属方法,该方法无需添加辅助硬件设备,适用于能够提供具有手指触点形状输入的原始图片的交互桌面.

·本文从交互桌面的交互特征出发,以Nielsen的手势设计原则为指导,提出了交互桌面手-臂系统三角形模型,并定义了交互桌面用户双手交互的手势空间.

·以此为基础,提出了多触点交互桌面同手触点聚类方法及左右手识别方法.

·对MTDriver进行扩展,实现了可提供左右手信息的多触点跟踪工具EMTDriver.该工具的开发,为左右手信息的实际应用奠定了基础.

·基于交互桌面双手非对称交互技术的设计,为左右手信息在交互桌面上的应用提供了几种可能的 途径.

评估表明,该方法可有效地对同手触点进行聚类及左右手识别,而且具有较好的时间性能,满足交互桌面交互实时性要求.

在下一步工作中,本文方法将考虑在如下两个方面加以改进:

·其一,本文方法的正确率受触点方向角准确率的影响较大,为了提高文中方法的正确率,我们将深入研究基于视觉的交互桌面触点方向角获取方法;

·其二,该方法目前仅局限于固定位置的单用户使用,接下来,我们将探讨用户身份区分方法,并考察该方法在多用户情况下的应用情况.