这些家伙会毁掉我们所知的计算机界面吗？

今年，在德克萨斯州奥斯汀举行的年度创新大会西南偏南互动展上，大卫·霍尔兹登上了主舞台，看上去就像是周五休闲装扮的霍比特人。他身穿一件超大号蓝色 Polo 衫和宽松的卡其裤，前口袋里鼓着一个大钱包，一头卷曲的头发在后脑勺稀疏的地方卷曲。即使是在西南偏南 (SXSW) 这个聚集着许多目光敏锐、有远大理想的发明家、却没有时间理发的聚会上，这位 24 岁的 Leap Motion 公司创始人也脱颖而出，成为极客的杰出代表。Leap Motion 公司生产一种新型计算机运动跟踪控制器。

特斯拉和 SpaceX 创始人埃隆·马斯克计划在霍尔兹演讲后立即发表演讲，阿尔·戈尔也紧随其后，因此在 Leap Motion 演讲期间，热情的粉丝们纷纷涌入礼堂，就好像这是一场开场表演——每个人都在为主要活动选择视线时，背景音乐响起。霍尔兹与他的联合创始人兼好友迈克尔·巴克瓦尔德同台，他似乎没有注意到这一点。他说话时既有难以抑制的热情，又有不可思议的自信。演讲的题目是“消失的用户界面”，呼吁彻底改造我们与计算机的交互方式。“我应该能够登录任何计算机，而不必了解某种语言才能使用它，”他说。“我应该凭直觉做我认为有意义的事情。技术应该理解我。”

“很明显，阻碍设备发挥更多功能的因素不是它们的功率、成本、普及性或尺寸，”Buckwald 解释道。“而是用户与设备的交互方式非常简单。不幸的是，这导致了下拉菜单和键盘快捷键等元素的出现……这些元素需要人们学习和训练，而不仅仅是实践和创造。”观众们兴奋不已，其中许多人正在笔记本电脑和平板电脑上忙碌。然后 Holz 开始了他的产品演示。

Leap Motion 控制器看上去就像一个微型 iPhone，放在舞台上电脑前的桌子上。在控制器上方 8 立方英尺的锥形空间内，控制器可以跟踪最小 0.01 毫米的运动，比微软的 Kinect 灵敏得多。霍尔兹开始在 Leap 上方挥动双手，追踪线在电脑屏幕上舞动。他几乎察觉不到地摆动手指，放大显示屏，直到追踪线再次填满屏幕，只是这一次它们跟踪的是 1 厘米范围内的运动。他平移显示屏，以三维方式显示追踪线。一些人倒吸一口凉气。他伸出双手，屏幕上出现了详细的 3D 图片。他拿起一块虚拟粘土，几秒钟后，在稀薄的空气中雕刻出一个像巴特·辛普森一样的角色，并将其旋转，让观众从各个角度观看。“我很自豪，现在这已经成为可能，”他简单地说道。观众欢呼起来。

在接下来的几天里，一群好奇的与会者涌入奥斯汀会议中心后面的 Leap Motion 帐篷。他们中的大多数人之前从未听说过这款产品，但他们明白它的含义。Leap Motion 不是关于手势控制的。正如霍尔兹在他的演示中解释的那样，它开启了一个新时代，在这个时代，人们可以像真实一样直接、自然地与数字信息互动。“只要有计算机的地方，都可以从这种互动中受益，”他说。“这意味着平板电脑和手机，也包括机器人手术。”

一天下午，数百名开发人员聚集在帐篷里，试图与霍尔茨和巴克瓦尔德见面。其中几位自豪的开发人员展示了他们已经开发的应用程序——其中一款安全应用程序不依赖密码或视网膜扫描，而是根据手部独特的生物特征识别人员。另一位开发人员在角落里的一台笔记本电脑后面设置了一个黑色四轴飞行器无人机，他用 Leap 控制着这架无人机，只需在前面的空间里挥动伸出的手，就像一个孩子在模仿飞机一样。

这一切看起来就像魔术一样，满屋子的人都在挥舞着手指，看着效果咧嘴大笑，仿佛他们与计算机的互动方式从此发生了改变。对霍尔兹来说，这是他年轻时一直在筹划的一场革命的开始。

早在学会读写之前，大卫·霍尔兹就对科技着迷。他在佛罗里达州劳德代尔堡长大，那里是一个沿海社区，居民大多是大房子、老人，很少有年轻家庭。霍尔兹身边没有朋友，所以他只能在车库里忙碌，拆开他能弄到的任何电子设备。“我从镇上的人那里收集了这些电器。有人会把他们的电脑弄坏然后送给我，”他回忆道。他会研究自己拆开的东西的零件，并试图找出它们的新用途。

霍尔兹似乎继承了父母的黑客心态。当他的母亲还是个小女孩时，她试图制造一枚火箭；它在地面上留下了一个八英尺宽的弹坑。他的父亲小时候建了一个家庭化学实验室，在他上大学后，他的父母不得不打电话给消防部门来清除他藏匿的所有危险材料。结婚后不久，这对夫妇在加勒比海度过了几年自由自在的航行时光，而大卫的父亲是一名牙医，则在他的领域找了一些零工。

大约八岁的时候，霍尔兹开始将自己的好奇心引导到制作东西上，而不是拆开它们。“那时我已经很擅长制作纸飞机了——我已经通过实验验证了哪些纸飞机在哪些方面是好的，”他说。但他需要确切了解它们的工作原理，因此他开始在车库里制作风洞，使用有机玻璃、纸板、大风扇以及重量和平衡系统。他对风洞的迷恋在七年级达到顶峰，当时他开始建造一个他希望可以突破音障的风洞（它一侧是压缩氦气，另一侧是真空室）。他的父母在他完成之前阻止了他，担心他的安全。霍尔兹干脆换了项目。他读了史蒂芬霍金的《时间简史》 ，并开发了一种简单的方法来测试狭义相对论：通过监控他将发送到世界各地不同海拔高度的时钟。

在实验中，霍尔兹很早就意识到计算机是一种强大的工具。“我总是觉得，有了技术，我比没有技术时表现得更好，”他说。但在某个时候，他开始注意到相反的效果。在中学时，他自学使用复杂的设计软件，并开始为他想要创造的东西构建 3D 模型。“我可以在几分钟内塑造一块粘土，但在电脑上做到这一点需要大约五个小时。所以我开始问自己，‘好吧，这里的问题是什么？为什么我对这项技术更不擅长？’”

一定有更好的方法来塑造虚拟粘土。“就好像，计算机足够强大，我知道我想要什么，所以问题不在于我，而在于输入系统，”他说。“如果我要设计塑造粘土的最佳方法，那不是按一堆按钮。而是用我的手。”就这样，Leap Motion 的种子就种下了。

与此同时，在学校里，他结识了一小群对体育毫无兴趣的聪明孩子，其中就包括一位名叫迈克尔·巴克瓦尔德的年轻辩论迷。这群人开始举行圆桌会议，试图重新构想教育系统和总统政治等重大理念。

然而，学校本身就是一个挑战，因为霍尔兹无法让老师回答他不断提出的问题，尤其是在数学和科学方面。例如，其中一位老师会解释说，负数的平方根是一个虚数，霍尔兹就会举手。“我会说，‘好吧，我知道这是可行的，但我们为什么生活在一个有这种数学结构的宇宙里？’这实际上是一个非常深奥的数学问题，有一个完全合理的答案，但老师会说，‘我不会回答这个问题。’”

佛罗里达大西洋大学的大学生活稍微好一点。然后他前往北卡罗来纳大学教堂山分校攻读应用数学博士学位。从某种程度上来说，教堂山是霍尔兹的梦想之地。那里到处都是数学家，他被他们吸引是因为他觉得他们对问题“了如指掌”。更棒的是，“北卡罗来纳大学是世界上唯一一个数学家可以像大多数物理学家一样接触到大量知识的地方，”他说。“他们有巨大的风洞。他们有一个巨大的波浪池，所以人们可以理解波浪背后的数学原理。”

但这还不够。霍尔兹开始申请加入不同的研究团队，在研究之外承担了多达十几个项目。其中包括与美国宇航局兰利研究中心合作的研究火星激光雷达和甲烷的项目、与马克斯普朗克佛罗里达研究所合作的神经科学项目以及北卡罗来纳大学的流体动力学项目。

然而，他总是回到他最喜欢的想法：建立一种新的基于手势的计算机交互方式。从中学开始，他就定期回到这个想法，到研究生院时，他已经建立了一个原型。除了这个，他的其他项目和他的研究生工作，霍尔兹已经忙得不可开交，不得不做出一些决定。“我有点觉得，‘这些不是我想要解决的问题，也许我现在有技能和我需要的一切。我是否应该完成我的博士学位，去 NASA 工作，并利用这个职位最终创办一家公司？或者我可以跳过所有这些，直接去公司工作？’”他选择了后者，仅仅一年后就离开了 UNC，没有拿到学位。

SXSW 音乐节结束一个月后，霍尔兹盘腿坐在 Leap Motion 旧金山总部会议室的一张黑色转椅上。总部是一个类似地堡的地下空间，位于海湾大桥入口匝道对面，距离他和巴克瓦尔德合租的公寓不到一个街区。霍尔兹其实并不住在公寓里——他在地堡里吃外卖，经常睡在豆袋椅上。一些同事把他的头发称为“巢穴”。

和任何优秀的数字初创公司一样，Leap Motion 也为自己的会议室取了巧妙的名字——在这个例子中，会议室的名字是各种科幻太空飞船。有“卡拉狄加” 、 “死星”和我们现在所在的“企业号” 。这个名字很贴切。 《星际迷航》中运行时间最长的情节装置之一被称为全息甲板，其中的角色可以与全息图互动——比如老式新奥尔良爵士俱乐部或战斗模拟的比例模型——以进行休息和训练。

当 Holz 和 Buckwald 开始创办公司时，他们打算制造类似全息甲板的东西。原型并不漂亮——大约两个背包里装满了电子设备，需要 30 分钟才能安装好——但该系统的八个联网盒子在足够大的区域内具有灵敏度，可以创建 Holz 所说的“全息甲板”。Holz 在大学期间在机器背后的数学方面取得了一些突破，他当时开发的核心原理至今仍在推动该产品的发展。

巴克沃尔德几乎害羞得要命，他还记得 2010 年与霍尔兹讨论过一家潜在的公司，当时他意识到尽管第一台设备很粗糙，但却代表着一个巨大的机会。当时巴克沃尔德只有 21 岁，但由于提前从乔治华盛顿大学毕业（双学位），他已经创办并出售了一家名为 Zazuba 的在线列表公司，并在马达加斯加待了一年，为“每个孩子一台笔记本电脑”项目开展业务。在乔恩斯图尔特和斯蒂芬科尔伯特举办“恢复理智和/或恐惧集会”的那个周末，霍尔兹来到华盛顿特区看望巴克沃尔德。两人花了很长时间谈论这项技术，就像他们在中学时讨论过许多其他变革性想法一样。等到科尔伯特离开时，他们已经决定成立一家公司。霍尔兹专注于数学，而巴克沃尔德则帮助将他朋友的想法变成一门生意。

手势控制的梦想并不新鲜，但它只是在过去几年才变成现实。任天堂 2006 年推出的 Wii 控制器在某些方面是一款突破性设备。虽然它很有趣，但除了游戏之外用途有限，因为用户必须拿着一根特殊的魔杖。手势界面也曾有过其他尝试——其他魔杖、有线手套，以及最近由一家名为 Thalmic Labs 的公司开发的可读取肌肉电活动的臂带。但到目前为止，最先进的方法一直是微软的 Kinect，它在 Holz 和 Buckwald 决定创办公司几天后作为 Xbox 的游戏控制器发布。它不需要用户做任何事，只需在设备前面的空间移动即可。

这是一个人们与数字信息进行互动就像与真实信息一样自然的新时代。

起初，Kinect 使用一种称为“结构光”的技术，即在房间内投射许多光点，并追踪这些光点如何被移动物体打断。这种技术在检测相对较大的动作（如高尔夫挥杆或拳击）时效果很好。但要追踪单个手指的细微动作，就必须测量大量光点，这将需要极大量的处理能力。今年春天，微软用“飞行时间”取代了结构光，其工作原理更像雷达。通过投射红外光并测量其从物体反射所需的时间，机器实现了深度感知，并能够构建所见物体的 3D 图像。新方法比结构光更准确，但远不如 Leap Motion 的技术精确。Kinect 在几英尺外效果最佳。靠近进行精细工作，准确度就会降低。

Leap Motion 的工作原理完全不同。Holz 将 Leap 收集的信息与柔和光线下的模拟相机收集的信息进行比较，这意味着它可以检测到描述物体曲线和细微差别的细微阴影。然后，它会跟踪物体移动时这些阴影的变化。该公司一直没有透露该设备如何将其图像文件转换为实时 3D 运动，但秘密就在 Holz 的专有数学中。最令人印象深刻的可能是所有处理几乎都是零延迟的（而 Kinect 长期以来一直受到延迟时间的投诉）。“我们只使用了 CPU [中央处理器] 单个核心的一小部分，”Buckwald 说。“设备中没有特殊的硅片，我们使用现成的传感器、现成的相机。我们今天所做的一切都可以在 10 年前完成”——如果有人知道 Holz 的数学就好了。

多媒体编辑产品制造商 Avid Technology 的创始人 Bill Warner 在 Holz 和 Buckwald 在华盛顿度过周末后不久就了解到了 Leap Motion 背后的秘密（他当场同意成为该公司的首位投资者）。他称这种方法简单得令人难以置信。“就像任何伟大的发明一样，这些见解很难想出来，但一旦你听到它们，你就会说，‘当然！’你没有想到它，因为你没有从那个角度看它。” Holz 设法彻底理解手势控制的问题，这让他能够看到其他人错过的东西。“很多时候，像 David 这样聪明的人，很难跟上他们，看到他们看到什么，他们理解什么，”Warner 说。“David 的情况并非如此。他的聪明之处在于他让事情变得非常简单，即使对他自己来说也是如此。”

有了数学知识，霍尔兹面临的更直接的挑战是可访问性——将他的八个联网盒子变成可行的产品，无论是普通消费者购买还是其他公司嵌入到他们的产品中。 2012 年，前苹果高管安迪·米勒 (Andy Miller) 遇到霍尔兹和巴克瓦尔德时，他正在担任风险投资家。他听说过这两位天才创始人的故事，其中一位留着疯狂的年轻爱因斯坦发型，把装满看似简陋但令人惊叹的电子产品的背包放在投资者的会议桌上。他要求看演示。“那天大卫看起来非常古怪，”他回忆道，“迈克尔低着头跟我说话。我本以为会看到我听说的东西，也就是这个大系统，但他们说，‘我们都准备好了，就是这样。’这只是一个小盒子，而且非常漂亮。”

米勒在公司投入了大笔资金，几个月后就担任总裁。“我和大卫相处的时间越长，就越觉得他令人惊叹，”他说。“我很幸运能和史蒂夫·乔布斯共事，大卫和史蒂夫很像，他的知识广博，深度深厚。”

米勒加入 Leap Motion 后，该公司进一步完善了设计，计划开发一个类似苹果的应用商店 Airspace，并制作了一个广为流传的演示视频；第一周就有 15,000 名开发人员申请为该设备开发软件。“我花了整整一周的时间查看每封询问合作机会的电子邮件，”米勒回忆道。“有成千上万封。你知道：‘我们认为这可以为汽车行业带来很大帮助。’‘我们认为这可以帮助残疾人。’‘你能帮助我们改进 Jack in the Box 的工作流程吗？’”

3 月底，也就是 SXSW 音乐节结束几周后，来自美国宇航局加利福尼亚州喷气推进实验室的人机界面工程师 Victor Luo 站在旧金山的 Leap Motion 控制器前，在 350 英里外的实验室中操作一台重达一吨的太空机器人。这辆名为 Athlete（“全地形六肢外星探险家”的缩写）的火星探测车有六条手臂，可以飞行。美国宇航局开发了一款应用程序，将火星探测车的四肢映射到人手上，而 Luo 则能够通过摆动手指来移动它的手臂。Luo 在年度游戏开发者大会的舞台上展示了​​这一壮举。当他举起手时，观众在大型同步转播屏幕上看到火星探测车的喷气机点火。这台巨大的机器升空了。罗的同事、美国国家航空航天局局长杰夫·诺里斯向人群发表讲话：“我希望我们能够构建一个共享沉浸式远程探索的未来——每个人都通过机器人化身探索宇宙，不仅仅是凝视屏幕上的图片，而是走进全息甲板，站在那些遥远的世界。”

美国宇航局的演示是 Leap Motion 获得信任的有力证据之一，但远非唯一证据。自该公司开始发放开发工具包和测试设备以来的几个月里，大量早期应用的演示视频不断涌现。Google Earth 宣布增加了对 Leap Motion 的支持，相应的视频显示，一个人的手像超人一样飞过旧金山湾、穿过卢浮宫庭院，飞向太空。一位名叫亚当·萨默斯 (Adam Somers) 的电子音乐家发布了一款名为 AirHarp 的精美设备的演示。

今年春天，惠普宣布将开始将 Leap Motion 控制器与一些 PC 捆绑销售，并计划在未来某一天将该技术嵌入到设备中。与此同时，任何人都可以购买现成的控制器并将其作为外围设备插入。开箱即用的设备将允许用户控制一些基本的计算机功能，例如光标移动，但改进现有系统并不是重点。“如果我们成功了，并且能够从根本上打造出一种更好的与计算机交互的方式，那么基本上就会有无限的使用案例，”Buckwald 说。“最终，任何带有计算机的东西都可以用它控制——每台笔记本电脑、每台台式机、每部智能手机、每台平板电脑、每台电视、每个手术站、每个机器人，甚至可能是每辆汽车上的 Leap。”

很难说手势界面将会支持哪些类型的应用程序。

在计算机用户界面的历史上，只发生过两次重大变革：1980 年代中期，苹果公司用基于鼠标的图形用户界面取代了旧的命令行界面；2011 年，苹果公司向世界推出了多点触控移动设备。这两次变革的目的都是使人机交互更加直观，最大限度地减少人与机器之间的障碍。“如果你考虑一下鼠标，它会将你的触角延伸到屏幕上。而触摸屏将它延伸得更远，所以你实际上是在触摸屏幕，”华纳说。“Leap Motion 正在将你的触角延伸到屏幕内部。”

很难说手势界面将实现哪些类型的应用。很少有人能预测到多点触控将带来《愤怒的小鸟》之类的游戏。不过，手势界面可能不会完全取代现有的界面。正如多点触控改进了某些功能（例如翻阅电子杂志），但没有改进其他功能（创建电子杂志），Leap Motion 控制器和类似的设备在某些用途上会表现出色，而在其他用途​​上则不然。首先，使用自然界面操作电子表格可能不会更容易；桌面体验已经相当先进了。

即便是最自然的 3D 应用也有其局限性。当你开始使用 Leap Motion 控制器时，你首先注意到的事情之一就是缺乏触觉；没有触觉反馈来帮助校准触摸，就像在现实世界中一样。当我问 Holz 这个问题时，他耸耸肩。“因为它是数字化的，我们可以在其中放入比你在现实世界中获得的更多的信息，”他说——例如，当你的手指触摸某物时，灯光变化可以提示你。Holz 说，假以时日，虚拟触觉反馈完全有可能实现，可能是通过聚焦超声波，这是东京大学研究人员开发的一种过程。“我认为在不久的将来，你可能会看到很多这样的技术。”

另一个限制是：当用户在三维空间中移动双手时，结果会显示在二维屏幕上。这可能会让人感到迷惑。当然，除非建造真正的全息甲板，否则这种情况是不可避免的，而要克服这一困难，需要开发更好的 3D 显示技术。霍尔兹认为，将 Leap Motion 与谷歌眼镜等头戴式显示器集成可能是最好的解决方案。“这就像我身处全息甲板中，但不需要全息甲板。你把周围的空间变成全息甲板。”我问他，该公司是否正在与谷歌洽谈打造这种产品。“我想我不能透露细节，但呃……这很有意义，”他说。

这是一个令人兴奋的愿景，也是让霍尔兹兴奋不已的事情，他开始谈论赋予人们超能力——例如，在这个数字与物理融合的世界中“撤销”虚拟操作的能力，就像在 Photoshop 文件中撤销操作一样。或者在半空中雕刻某物，然后用 3D 打印机快速复制，在短短几分钟内将想法变成实物。

“我们的想法是，我们应该能够与虚拟世界进行与现实世界同样精细的互动，”霍尔兹说。“这给了我们更多的力量。我们可以随心所欲地定义数字世界的规则，这样我们就可以做很多以前做不到的事情。这是通过技术我们可以做得更好的情况之一。

汤姆·福斯特 (Tom Foster) 在一月刊中撰写了有关头盔技术和足球脑震荡危机的文章。

本文原载于2013年8月号的《大众科学》。