微软官方博客揭秘Kinect工作原理

你是控制器。”(You are the controller.)假如你在关注Kinect，我相信我听过这个强大的广告词。从《Kinect Adventures!》用中手脚堵住漏水洞，到达Zune在播放界面中挥手换歌，Kinect创造了更自然的娱乐互动方式。在这篇博客文章中，我将 揭秘这款体感系统背后的秘密以及它如何让开发者创造Kinect体验。而Kinect团队项目经理Arjun Dayal通过显示如何通过基于手势来控制它Xbox Dashboard和Kinect Hub。首先，让我们从指导开始Kinect开始研发概念原理。 我们生活在一个模拟的世界里 基于一系列规则：原因和结果，非黑即白，非真即假。建模输入输出数量有限的简单系统时，这种方法工作得很好。拿游戏《Halo》来说 按A键是让士官长跳，前拨左摇杆让他向前走，前拨右摇杆让他向上看。不是A，就是B。不幸的是，我们生活的现实世界不是那么数字化，而是模拟的。 在模拟世界中，不仅仅是是和否，还有也许/否；不仅有对和错，还有对/错的可能性。让我们想象一下挥手的简单 动作的所有可能性：身体运动范围、环境差异、衣服质地差异、文化差异等。你可能需要研究10次23次的可能性，显然是用传统编辑的 解决这类问题是不现实的。 我们从一开始就知道，这个问题必须用一种接近人脑工作的新方法来解决。当你遇到一个人时，你的大脑会立即关注他，并根据经典 识别他的身份。这个过程不是通过数百层决策树来实现的，人脑知道。婴儿很难区分两个人的差异，但我们可以在几分之一秒内通过多年的学习和训练 做到。事实上，你可以准确地估计他们的年龄、性别、情绪甚至个性。这也是我们成就人类的原因之一。 Kinect以类似的方式创造。它观察周围的世界，注意你的行动。即使Kinect从未见过你挥手，也能很快从中学习TB在级数据中猜测你所做动作的意义。 Kinect传感器 Kinect骨架跟踪处理过程的核心是，无论周围环境的光照条件如何，都能使Kinect感知世界的CMOS红外传感器。传感器通过黑白光谱 感知环境的方式:纯黑代表无限远，纯白代表无限近。与传感器物理距离相对应的黑白灰色区域。它收集视野中的每一点，形成代表周围环境的画面 景深图像。传感器以每秒30帧的速度生成景深图像流，实时3D再现周围环境。如果你玩过pin point impression 3D针模玩具可能更容易理解这个技术——按压你的手(或脸，如果你愿意的话)在这个玩具上，你可以在身体的某个部位产生简单的3D模型。 寻找移动部件 Kinect我们需要做的下一件事就是寻找图像中更有可能是人体的移动物体，就像人们下意识地关注移动物体一样。接下来，Kinect对景深图像进行像素级评估，以识别人体的不同部位。同时，该过程必须通过优化预处理来缩短响应时间。 Kinect从背景环境中区分人体的分割策略，即从噪声中提取有用的信号。 Kinect最多两个玩家的全身骨架可以主动跟踪，或者最多四个玩家的身体和位置可以被动跟踪。在这一阶段，我们为每个被追踪的玩家在景深图像中创建了所谓的 将背景物体(如椅子、宠物等)去除后的景深图像分割遮罩。在以后的处理过程中，只传输分割遮罩的部分，以减少体感计算。 Kinect的大脑 这里发生了真正的魔法。分割玩家图像的每个像素都被传输到识别人体部位的机器学习系统 统中。然后系统会给出特定像素属于身体部位的可能性。例如，80%的像素属于脚，60%的像素属于腿，40%的像素属于胸。看起 在这个时候，我们可以把最大的机会作为结果，但这样做太武断了。我们的做法是将所有这些可能性输入到下一个处理过程中，等到最后阶段 判断。 看完上面的介绍，你可能会问我们怎么教。Kinect识别人体部位。开发这种人工智能(被称为人工智能) 为Exemplar(模型)系统)不容易:数数TB计数据输入集群系统进行教学Kinect用像素级技术识别手、脚和它所看到的 他的身体部位。下图是我们用来训练和测试的Exemplar数据之一。 模型匹配：生成骨架系统 处理过程的最后一步是根据跟踪到的20个关节点，使用前期输出的结果生成骨架系统 统。Kinect会评估Exemplar关节点由输出的每个可能像素决定。这样Kinect基于足够的信息，可以最准确地评估人体的实际位置 置。此外，在模型匹配阶段，我们还做了一些特殊事件，如附加输出滤镜来平滑输出和处理闭塞关节。 骨架跟踪系统的目标之一是为处理过程的各种输出提供菜单选择界面。游戏开发者可以选择任何系统组件组合来开发各种游戏体验。例如，你可以用分隔映射来创造一些惊人的华丽效果(《Your Shape: Fitness Evolved》一个很好的例子)。 在这一点上，我们描述了一个完全实时的体感系统，可以用来控制游戏或娱乐。接下 来，Arjun将介绍改进Xbox Dashboard和Kinect Hub。他将向您展示如何使用景深图像流和20关节骨架系统来创建一种基于自然手势、访问游戏、电影、音乐和其他娱乐活动的新方式。 Kinect:如何最终理解你！ 如今，技术在我们的日常生活中起着重要的作用，但直到现在，技术产品才真正理解人类的意图和意图 在适应个体风格差异方面仍然做得不好。Kinect的问世让这一切有所改变。站在Kinect以前，它可以知道你是谁。不仅如此，还能区分你和你的爱人。 来。当你移动时，传感器可以在瞬间跟踪你。想要互动？你可以用声音和身体移动来播放电影、玩游戏、和朋友聊天等等。不需要学习任何新的控制方式，多么神奇！ 前面Kinect团队项目经理Ron已经描述了Kinect传感器让Xbox实时跟踪玩家动作 背后的高深技术，但是如何最好的运用呢？我们的目标是让玩家尽可能自由地控制Xbox，同时，所有用户都可以很容易地学习和理解各种控制手势。接下来，我们会 更深入地揭示这一体感技术，并谈谈Kinect Hub和Dashboard中的Kinect体验。 手势:从何说起？ 当你听说我们想设计一个手势来上下左右移动物体时，你可能会想：这并不难。把你的手移到物体上，选择并移动到你想要的方向！” 等等，别那么自信。问问你的朋友他们是怎么想的，你可能会惊讶地发现他们的回答和你是这样的 不同。你的方式更好吗？不一定，只是对你更有逻辑。人类的独特之处在于，它可以通过多种方式完成特定的任务。让我们以驾驶为例。如果你让100 你可能会得到很多答案来模仿如何驾驶。有些人会双手握住面前的10点和2点，有些人可能只用一只手握住12点，有些人可能会背部 坐在椅子上；同样，模仿踩油门、刹车和离合器的方式也会多种多样。所有这些方法都可以让我们开车，技术工作就是识别所有这些方法——让技术理解 你！ 那么，识别一个看似简单的动作有多复杂，以伸手为例。当你想伸手去拿东西时，你会 认为伸手的方向应该完全垂直于身体的平面。但事实上，由于肩膀和手臂关节的结合，你不能直线伸手。因此，每个人都会以稍微不同的方式伸手 但每个人都认为这是同样的伸手动作。成功的手势识别是了解人类动作的微妙之处，让技术了解这些差异。 研发Kinect在革命性产品的过程中，我们不仅要克服上述挑战，还要使产品易于使用。我们所做的每一个决定在人机交互领域都是前所未有的，我们的工作可能会重新定义互动娱乐技术的未来。 手势原型： 去粕取精 在为屏幕导航创建控制手势时，我们采用了一种非常常见的方法：记录所有可以想到的想法，比如用脚选择菜单。当我们意识到这样的想法太多时，我们知道需要一个更可靠的选择。 我们收集和记录所有的想法，并逐一制作原型来测试更适合普通用户的原型。与普通用户进行 原型测试非常重要，所以我们学到了很多关于人体运动的信息，并用于每次新测试的重新调整。人机互动的现有规则并不总是适用于在客厅进行的10英寸距离上的体 感交互。通过测试，我们可以更好地理解用户的行为，比如如何长时间做手势，以及我们创建的控制手势集是否与人类自然手势冲突。 在测试过程中，我们的想法是不断失败，去渣取精工程、用户研究和设计团队充分参与手势集的原型生产过程，并与普通用户进行测试，根据获得的所有数据确定最佳手势。 经过几个月的测试、观察和研究，我们得到了一种简单易懂的控制方法——悬停选择和翻页控制。悬挂选择是一种易于学习、高度可靠、可预测的机制，翻页控制提供了一种更具触感的控制屏幕内容的方法。 让我们通过Xbox Dashboard和Kinect Hub对这种控制模型的细节进行了更深入的讨论。 Kinect Hub: Kinect体验大本营！ Kinect Hub是Xbox Dashboard中的Kinect您可以在这里用手势访问体验中心Kinect内容。Hub设计简单易懂。你可以注意到，我们使用了一个巨大的项目方块，使用户可以很容易地找到和选择他们想做的事情。

小编推荐：学习高端计算机技术、系统维护、网络管理、编程开发、安全攻防等IT技术，请 点击此处注册账号，公开课频道价值1万元IT免费学习培训教程，让你少走弯路，事半功倍，好工作升职加薪！

免责声明：本站为公益性非盈利性IT技术推广网络，本文由投稿人转载自互联网的公开文章，文章结尾注明了来源，其内容和图片版权属于原网站或作者，本文不代表本网站的观点，如有无意侵权或转载不当，请联系我们处理，谢谢合作！