华盛（shèng）顿州，雷（léi）德蒙德——当人们第一次戴上全新（xīn）HoloLens 2时，设备会自动开始识别他们（men）：它会测量包（bāo）括用户手的准确（què）形状、精准的瞳距在内的一切数（shù）据。在英国剑桥领（lǐng）导HoloLens科学团队的资深科学（xué）家Jamie Shotton表示，实现（xiàn）这些（xiē）功能的人工智能研发过程“惊人的复杂”，但如果想让使用该（gāi）设备的体验变成一种“本能”体验，这（zhè）些（xiē）研发工作至关重要（yào）。

“我们希望用户不（bú）用专门学习（xí），就知（zhī）道如何使用HoloLens。”他（tā）补充（chōng）到：“我们（men）知道如（rú）何与（yǔ）现实世界中的事物进行（háng）交互（hù）：我们拿起东西，按下按钮，然后指向目标物。我们（men）致力于将（jiāng）其直接（jiē）转化为混合现实。”

微（wēi）软今天宣布HoloLens 2正（zhèng）式开（kāi）始向（xiàng）客户发（fā）货。这款内置（zhì）传感器的全息（xī）计算（suàn）头（tóu）戴显示设备利用人工智能代替时间和空（kōng）间，创造（zào）出一个由人（rén）、位置和（hé）物体组成的（de）混（hún）合（hé）现实，以促进我们最基本（běn）的人类冲动之一：交换知（zhī）识。

微（wēi）软技术院士Alex Kipman表示，我（wǒ）们希望这款头戴（dài）显（xiǎn）示设备可以展示智能边（biān）缘设备的优秀能力——支持人工智能技术，即（jí）使没（méi）有（yǒu）稳（wěn）定的互联网连接，也能收集和（hé）处理（lǐ）数据（jù）——并在（zài）联网时（shí）与智（zhì）能云共享部分或（huò）全部数据。

不（bú）久之前，Kipman在他办公室的数字白板（bǎn）上勾勒了这种普（pǔ）适计算结构的示（shì）意（yì）图。他说：“HoloLens是微软首个基（jī）于这种世界观开发的设（shè）备。” HoloLens 2中的人工智能与（yǔ）微（wēi）软云（yún）计算平台Azure的（de）人工（gōng）智能功能相结合，让那些需要（yào）腾（téng）出双手操作的一线工作人员能够学习有助于职业发展的技能，并使地球（qiú）两端说不同（tóng）语言的人（rén）能够（gòu）通过对物体的（de）互通认知进行协作。

微软公（gōng）司Microsoft Azure部（bù）门（mén）副总裁（cái）Julia White说：“你（nǐ）可以通过HoloLens做真正有趣的事，也可以通过云（yún）来（lái）做真正（zhèng）有趣的事。但（dàn）是当这两者（zhě）相结合（hé）时，你会发现，它（tā）改（gǎi）变了人们实（shí）际做（zuò）事的方式方法。”

通过人工智能（néng）交（jiāo）付混合现实

为了实现与HoloLens 2的自然（rán）交互，Shotton和他的同事共同开（kāi）发、训练人工智能模型，并（bìng）将其部署在设备（bèi）上（shàng），以跟踪人（rén）们的手部动作和（hé）视线，比（bǐ）如人们（men）可以感知漂浮在自己（jǐ）眼前的全息影像并伸手调整大小或（huò）对（duì）其重（chóng）新定位。

为了（le）构建手部跟（gēn）踪（zōng）系统，该团队制作了一（yī）个带有向内指向的（de）圆顶摄像头设（shè）备，用来记录人们（men）各种各样的手形（xíng）。之后团队会使用离线的（de）云处（chù）理技术来（lái）构建（jiàn）能够代表（biǎo）所有（yǒu）人手形和动作（zuò）的3D模型。通过这个（gè）3D模型，团队能够使（shǐ）用计算机图形来渲染逼真的合成（chéng）人手图（tú）像（xiàng）和合成标（biāo）签（qiān），从而使该模型能够（gòu）适（shì）用于（yú）各种手形、姿势和运动。Shotton说（shuō）：“你可（kě）以有效（xiào）地生成（chéng）无穷多的训练数据。”

该团队使用这些数据（jù）来训（xùn）练（liàn）一个紧凑型（xíng）深（shēn）度（dù）神经网络，这是一种适用于HoloLens的机载处理器的人工智能算法，能（néng）够对来自设（shè）备（bèi）的深度传感器的每一（yī）帧画面进行高（gāo）效处（chù）理（lǐ）。当新用户戴（dài）上HoloLens 2时，系统会利用这个神（shén）经网络构建（jiàn）一个适合用户手掌大小的个性化（huà）3D模型，从而实现（xiàn）与全息影像自然交互所（suǒ）需（xū）的精确跟踪。

Shotton的（de）团队（duì）采（cǎi）用了类似的方法来构建和（hé）训练眼球跟踪模型，密切关注瞳（tóng）孔（kǒng）间距（jù）——即双眼瞳孔中心之（zhī）间的距离，瞳距因人（rén）而异，它会（huì）影响一（yī）个人看近处或远处物体的方式（shì）。最（zuì）终（zhōng）这（zhè）个眼球（qiú）跟踪模型，可（kě）以（yǐ）让HoloLens 2能够在客（kè）户面前精确（què）显示（shì）全息影像，让他（tā）们用手（shǒu）和眼睛同HoloLens 进（jìn）行（háng）交互和操作（zuò）。

Shotton表示：“眼球（qiú）追踪、全息影像和现实世界的匹配、人手的互动，所有这一切，如果没有足（zú）够的精（jīng）度，根本谈不上（shàng）本能自然的交互体验。”

贯穿边缘到（dào）云端的人工智能（néng）

不仅仅是手部（bù）和眼球跟踪功能，其它的智能功（gōng）能，比如SLAM（同步定位与地图构（gòu）建），都已经被嵌入（rù）到HoloLens 2的（de）第二代全（quán）息处理单元（yuán）中（zhōng），该芯片也被称为HPU2.0。

Kipman把这（zhè）种设备上（shàng）的人工智（zhì）能功能称作感知人工智能。他说（shuō）：“感知就像爬行动物的大脑（nǎo），它执行的（de）是脑部本能、想都不用（yòng）想（xiǎng）的（de）操作。”对于人来说，这类智能使（shǐ）我们的心脏保持跳动、我（wǒ）们的肺部自主呼（hū）吸、我们的眼睛进行微跳（tiào）动以测（cè）量（liàng）景深。比如（rú）当（dāng）我（wǒ）们（men）口渴并（bìng）想要喝水时，我们（men）的（de）眼睛会本能地测量到手（shǒu）举水杯到唇边的距（jù）离。

HoloLens 2上的感（gǎn）知人工智能使人们能够操控全息影像并与之进（jìn）行交互，而（ér）无需担心所谓的延迟——通常，数据传输到云端、进（jìn）行处（chù）理并返回到（dào）边缘需要（yào）花（huā）数（shù）百毫秒的时间。当你在全息影像上按下一个（gè）按钮（niǔ），或（huò）者用眼球在全（quán）息影（yǐng）像上浏览文本时，“即使几十毫秒也会产生显（xiǎn）著的（de）感知差异。”Shotton指出：“运转时（shí）长至关重要。”

对隐私（sī）的保护是在设备上进行本地人工智（zhì）能计算的另一个原（yuán）因，例如（rú）HoloLens 2用来验（yàn）证客（kè）户（hù）身份的虹膜扫描信（xìn）息——人（rén）们可能不希望（wàng）将（jiāng）这类私人数据发（fā）送（sòng）到（dào）云（yún）端。然而，对于许（xǔ）多其它类（lèi）型（xíng）的数据（jù）来说，将其发送到云端是有好处的：因为一旦这些数据到达云端，客户（hù）就可以利用（yòng）Azure AI和（hé）混合现实服务，将他们（men）设备上的数据与整（zhěng）个普适计算结构（gòu）中（zhōng）的数据相结（jié）合（hé），“这使很多更高级的运算和（hé）认知功能得以运行。”Kipman说。

云端协作

微软混合现实与人（rén）工智能苏黎世（shì）实验室主任Marc Pollefeys表示，智能云赋能的全（quán）息计算（suàn）的一个关键优（yōu）势就是，它可以与其他（tā）拥（yōng）有HoloLens或类似设备的人共（gòng）享信息（xī）。Pollefeys正在（zài）领导一个团队研发用于混（hún）合现实云服务的核心（xīn）计算（suàn）机视觉算法——Azure Spatial Anchors，该服务能够让全息影（yǐng）像保（bǎo）留并锁定在现实世界中，供（gòng）任（rèn）何具有适当访问权限（xiàn）的（de）人（rén）查看。

比如说，Spatial Anchors技术让工厂（chǎng）管理者能够把（bǎ）全息影像放在装配（pèi）线上的设备旁（páng）边，包（bāo）含重要（yào）的实时操作和维护（hù）信息，任何获（huò）得认证（zhèng）并拥有混合现实设备的工人都可以访（fǎng）问（wèn）这些信息。

Pollefeys说：“如果我（wǒ）只能在我自己的设备上回看这（zhè）些信息，那这样的全息影像就毫无（wú）意义。但是，如果我能（néng）够在全息影像中对现实世界进（jìn）行批（pī）注（zhù）和（hé）标（biāo）记，并（bìng）且公司里任何有（yǒu）访问权限的（de）人都可以（yǐ）看到这些信息，那么这（zhè）就实现了价值飞跃。”

为（wéi）了创建这一功能（néng），Pollefeys和他（tā）的团队（duì）开（kāi）发了人（rén）工智能计算机视觉算法，该（gāi）算法（fǎ）可处理来自传感器（qì）的数据，提取（qǔ）周围环境的3D几何（hé）信息（xī），并将其整合、上（shàng）传到云平台，创建出基于这些相关区（qū）域数字孪生系统或视图（tú）。

Pollefeys指出，HoloLens总是通过解读（dú）3D或空间信息的（de）方式，了（le）解其所在的运行环境。Azure Spatial Anchors创（chuàng）建、优化（huà）这些视图，并在各（gè）种设备上进（jìn）行共享，这就（jiù）是为什么（me）要把来自各个（gè）设备的视图（tú）拼凑在一起并（bìng）存储在云中。他说：“只在一台设备上存储（chǔ）这些数据（jù）是没有意义的。就好比（bǐ）我（wǒ）有一小块拼图、其（qí）他人也有一小块拼图（tú），只有（yǒu）当我们把各自设备（bèi）中生成（chéng）的拼图整（zhěng）合到一起，才可以（yǐ）覆盖整个空（kōng）间。”

随着各种支持（chí）混合现实功能的设备，包括HoloLens以及适当配（pèi）置的手机、平板（bǎn）电脑和笔记本电脑，绘制出的（de）环境信息不断整合，并共（gòng）享在云端，这些视图将随着（zhe）时间的推移变得更加详实（shí）、更（gèng）加精确、更（gèng）加强大。

以工厂为例（lì），随（suí）着（zhe）越来越多有访问权限的工人用自己的设备查看全（quán）息影（yǐng）像，工厂车（chē）间的整体视图将（jiāng）会不断地改进，最终完（wán）整（zhěng）全息（xī）影像将会被经（jīng）理放置（zhì）在装配线（xiàn）设备的上方。该功（gōng）能还支持其（qí）它一（yī）些场景，例如（rú）：建筑（zhù）师和客户开会时，每个（gè）参（cān）会人员都佩戴一个混合（hé）现实设（shè）备，将可以（yǐ）从（cóng）自己的视角查看该建筑的全息3D设计图，并（bìng）与之进行交（jiāo）互。

Julia White指出，Azure包含预构建服务，可在HoloLens和任何其它混合现（xiàn）实设（shè）备上，包括（kuò）运行ioses和安卓（zhuó）操作系统（tǒng）的智能手（shǒu）机和（hé）平板电脑，为这类体验编写（xiě）应用（yòng）程序（xù）。她指（zhǐ）出（chū）：“这种协作（zuò）体验不仅仅限于HoloLens。而且开发者在编写这（zhè）些令人（rén）惊叹的应用时的成本（běn）、操作难（nán）度和技能要求都随之大（dà）大降低。” 例（lì）如（rú），跨设备（bèi）和平台（tái）功（gōng）能可以优化《我的（de）世界：地（dì）球》的游戏体验。将（jiāng）流行的视频游戏与（yǔ）混（hún）合现实融合在（zài）一起，一（yī）个玩家可以在现实（shí）世界中搭建并放置（zhì）可持久存在的虚拟结构，这（zhè）样，其他（tā）玩家就可以在（zài）自己的（de）设备上与之进行交互。

Julia White说：“我们（men）都参（cān）与其中，因（yīn）为它基于云技术（shù），能够被各种类型的设备（bèi）解读和诠释。”

以人（rén）为本的（de）技术

Kipman指出，要（yào）想让HoloLens达到（dào）我们预想（xiǎng）的（de）那（nà）样（yàng）去工作，支（zhī）持这种（zhǒng）体验的技术就必须以类似人（rén）类的方（fāng）式（shì）来（lái）理解这个（gè）世界。因此，他和微软各个（gè）部门的同事合作，一同在这普（pǔ）适（shì）计算的数（shù）据网中开发（fā）、部（bù）署这些技术，并充分（fèn）利（lì）用人工智能技术研究解决方案——从HoloLens 2的芯片到Azure AI和混合现（xiàn）实（shí）服务。

我们（men）的目（mù）光再（zài）次回（huí）到（dào）Kipman的数（shù）字白板，他（tā）现在已（yǐ）经勾勒出（chū）一（yī）个普适计算的愿（yuàn）景，这个白（bái）板上有文（wén）字（zì）、方框、箭（jiàn）头，还有一幅简笔画——画中的两（liǎng）人在一（yī）个智能设备旁交谈（tán）。

他说，这就是普适计算（suàn）的（de）终极目标——让人们以自然的方（fāng）式（shì）与他人进行交互。为了强调这一点，他（tā）特意停顿了（le）一下，与观众进（jìn）行眼神交流，并说：“希望你们能从这次的谈话中得到更（gèng）多收（shōu）获，因为（wéi）在真实世（shì）界中大家现（xiàn）在就在我身边。”

他继续说（shuō）道：“我们本可以通过（guò）电话（huà）或者Skype来交（jiāo）流，我甚（shèn）至可以录下我（wǒ）的演（yǎn）讲（jiǎng），然（rán）后把（bǎ）磁带寄给你们。但（dàn）大家没有选择这么做，而选择了面（miàn）对面（miàn）交流。为什么？因为这就是我们（men）人类（lèi）习惯的做事方（fāng）式。”

“但（dàn）这样面对（duì）面（miàn）的（de）缺（quē）点是，大家必（bì）须和我同时在（zài）同一个地点。而全（quán）息技术的力（lì）量就在于，它能（néng）够帮助我们打破空间和时间的界限。”