乘风破浪，遇见未来元宇宙(Metaverse)之Microsoft布局元宇宙工具Microsoft Mesh，基于混合现实和微软Azure云的协作平台

微软新发布的Microsoft Mesh是什么

https://www.microsoft.com/en-us/mesh

在昨天的Ignite 2021上微软发布了Microsoft Mesh，一个基于混合现实和微软Azure云的协作平台，可以通过各种设备体验混合现实，包括远程全息，共同设计等。会议上微软发布了一个无比炫酷的视频，展示了通过Mesh创建的科幻协同的效果，还邀请了阿凡达的导演卡梅隆和Niantic公司的CEO兼创始人John Hanke远程加入。详细的内容大家可以看看庄森写的这篇文章《微软Mesh发布！——基于Azure的协作混合现实平台》。

我在2016年的时候玩过微软第一台的混合现实产品HoloLens，当时还写过一系列的技术开发入门文章《HoloLens开发上手(1-7)》。我们在HoloLens第一个版本上做过一些相关的开发工作，后来发现体验上问题很多，无法满足客户需求，这个赛道最关键的是内容和设计，并不是我们的核心竞争力，所以果断中止。

时隔近5年，微软又一次在这个领域有了新的发布。搞市场的同学们又可以把这个叫做“协作云”或者“混合现实云”，反正所有的东西加个云字都让人觉得高大上起来。让我们来看看微软新推出的Mesh到底包含了些什么内容。

按照微软官网的介绍，第一个功能是“Feel Presence”，翻译成中文就是现场感受。包括两方面的能力，一个是Holoportation，全息传输：远程把自己的身体影像传输到现场。就好比今年春晚的那个讨论：“刘德华到底在不在春晚现场？”其实当时刘德华并不在现场，而是用的全息投影的技术。春晚用的技术当然是最顶级的，HoloLens的效果应该比春晚要差多了。

另外一个现场感受的能力叫Avatar，就是做一个虚拟的人偶，这个比较简单，就不多说了。

Microsoft Mesh第二个功能叫做“Experience Together”，我把他翻译成共同体验。和之前HoloLens MR相比，没有什么太多新鲜的内容，远程协作，培训，开会，共同设计等等，通过虚拟和现实混合的方式合作。

Mesh支持的设备除了HoloLens以外，还包括各种手机、平板、个人电脑和虚拟现实VR眼镜。

从技术上看，Mesh跟以前的混合现实架构没有什么实质性变化。底层是各种设备，微软支持的硬件设备包括HoloLens，所有能和Windows连接的虚拟现实设备，手机，平板和个人电脑等；中间的架构运行在Azure上，包括基础设施，图形，认证，计费，视频和音频，用户，会话，消费者和商业图形等中间件；在此之上的微软提供的核心能力包括沉浸现场，空间地图，Holographic渲染以及多用户的同步；再之上是SDK和UX的构建，顶层是各种应用，比如HoloLens Mesh应用，支持企业级应用的AltspaceVR，未来还会把Teams，Dynamics 365和合作伙伴的应用放进去。

根据我们过去在HoloLens上开发的经验，微软的Mesh是进一步整合了混合现实的体验，将会继续在企业应用，协作和游戏市场上作为新兴技术存在。

在这个赛道里，最重要的一点是：体验。我刚刚提到了春晚刘德华远程全息的效果，但这是顶级的全息投影设备，在远程的刘德华应该也在一个非常绚烂的，拥有各种摄像头采集设备的房间里，中间的传输也需要非常大的带宽顺畅传输才可以实现。HoloLens在民用设备里虽然已经贵到没朋友，但是硬件性能要想实现和春晚一样的效果是绝对没有可能的。如何在这样的平台上实现尽可能好的体验，是微软的Mesh平台需要关注的重点。

其次是内容，尤其是3D内容。我在研究HoloLens的时候，做了一些简单的开发，还为客户试水做了几个项目，历时1年多。最终得出的结论是：内容是成本最高的部分。作为码农，在做任何赛道选择或者投资方向选择的时候，不自己摸一下其实都是心里没底的。Mesh需要的是广泛的3D内容，支持文章里提到的企业应用，远程协作，远程培训，共同设计等等应用。在这一点上，微软没有正面回答这些内容从哪里来，显然他也希望合作伙伴帮忙一起实现。

最后我再提一下协作，Mesh这种新兴的技术代表了未来远程协作的新形式。由于设备和网络的限制，通过语音，视频等方式进行远程开会的体验依然和现场开会的体验有着比较大的差距，我们没有办法看到参会人员的微表情，姿势等，会导致在沟通的过程中出现信息偏差。这个能力当前并不在Gartner定义的会议解决方案里，当前会议解决方案关注的重点能力还在现有数字化软件和数字化办公空间的集成上。随着微软Teams在这个领域的快速发展，相信相关的能力也会被加入到会议解决方案里。

所以，Microsoft Mesh只是微软混合现实技术的一个小更新，还属于技术的小幅演进。如果没有设备性能的大幅提升，或者像Covid-19疫情这样的黑天鹅事件，还没有到广泛应用的质变阶段，我会继续关注这个领域的发展。

微软Mesh - 技术概述

https://techcommunity.microsoft.com/t5/mixed-reality-blog/microsoft-mesh-a-technical-overview/ba-p/2176004

今天我们宣布了Microsoft Mesh，这是一个建立在Microsoft Azure上的新平台，使开发者能够建立沉浸式、多用户、跨平台的混合现实应用。微软Mesh使其用户能够以身临其境的方式连接存在、跨空间共享和协作，就像他们亲临现场一样，不受物理位置的限制。客户可以利用Mesh加强虚拟会议，进行虚拟设计会议，更好地进行远程协助，一起进行虚拟学习，举办虚拟社交聚会和见面会。

在这篇博客中，我们将窥探微软Mesh的内涵，以了解该平台的构建块。但首先，让我们看看为什么我们首先需要这样一个平台。

混合现实是继大型机、个人电脑和智能手机之后的第四次计算浪潮。混合现实正在成为消费者和商业的主流，将屏幕上的体验解放为在你的空间、你的东西、你的人之间的本能的互动。世界各地数以亿计的Niantic探索者已经通过你口袋里的设备体验了MR。当我们怀念亲临现场的社交关系时，像音乐会和健身训练这样的聚会正在向虚拟世界转移。超过50%的财富500强企业已经部署了HoloLens和其他混合现实解决方案，以推动其业务的实质性RoI。鉴于这样大的数字，人们会认为今天会有成百上千的混合现实体验正在开发。但事实并非如此。有一些潜在的困难问题阻碍了开发者创造这些沉浸式体验，特别是。

• 在MR中以适当的真实性表现人需要大量的时间和资源。
• 在不同时间和设备类型的共享MR空间中保持全息图的稳定是一个非同寻常的问题。
• 很难将高保真三维模型带入MR，以支持我们客户的文件格式。
• 在地理分布的MR会话中同步人们的动作和表情是很复杂的。

这些挑战使开发者无法实现多用户场景的MR体验。微软Mesh打算解决的正是这一系列的挑战。Mesh为开发者提供了一个平台，使他们能够设计出身临其境的多用户MR应用，而不必担心复杂的技术问题。让我们来看看微软Mesh平台为开发者提供的核心组件。

微软Mesh开发者平台

多设备支持。首先，Mesh可以满足用户的需求。它支持一系列设备，从完全沉浸式的头戴显示器（HMD），如微软HoloLens、惠普Reverb G2或Oculus Quest 2的3维体积体验，到iOS或安卓的手机和平板电脑的便利性，再到PC和Mac的2维视角的完全串联体验，用户可以从任何地方连接。

开发者平台。接下来，是Mesh所提供的全面的开发者平台和工具。开发者平台的核心是Azure。通过Azure Active Directory和Microsoft Accounts等身份服务，它将经过正式认证和授权的用户带入一个安全和可信的会话。Microsoft Graph继续与用户流动，使他们能够带来他们的连接、内容和偏好，包括来自商业和消费者空间的内容。而且，作为一个开发者，你不需要担心围绕计费、音频/视频传输和底层实时状态管理能力的核心基础设施。

除了核心平台，我们还有关键的人工智能能力，使Mesh能够解决一些最复杂的技术挑战，实现混合现实的大规模多用户在线（MMO）场景。这包括身临其境、空间地图、全息渲染和多用户同步。

微软Mesh人工智能驱动的能力

• 沉浸式的存在(Immersive presence)。多用户场景的一个基本方面是能够根据参与者加入的设备，以不同的形式表现他们。Mesh通过设备的内向型传感器提供了最容易获得的3D临场感的代表性化身。Mesh平台配有一个头像设备和一个定制工作室，因此你可以使用开箱即用的头像。该平台也能够利用其人工智能驱动的运动模型为现有的化身装备提供动力，以捕捉与用户动作一致的准确动作和表情。

• 除了化身(Avatars) 之外，Mesh还能通过外向型传感器实现最逼真的360度整体投影。这些外置传感器可以是像混合现实捕捉工作室(Mixed Reality Capture Studio)这样的定制相机设置，它有助于以完全保真的方式进行3D捕捉，也可以是Azure Kinect，它可以捕捉深度感应图像以协助产生全息表现。一旦全息图制作完成，这些全息图就可以在沉浸式混合现实头盔或日常手机、个人电脑和平板电脑上支持Mesh的应用程序中使用，以最逼真的表现形式为用户提供holoport，并提供真实的存在感。

• 空间地图(Spatial maps)。构建在现实世界中坚持全息内容的应用程序需要对每个参与者周围的空间有一个共同的视角，以及对物理世界的理解。无论是技术员的服务记录还是客户的寻路，将全息图可靠地放置在不同的时间、空间和设备上是一个共同的需求。这一切都在Mesh中通过空间地图实现。在Mesh之前，每个设备都有自己的本地世界观。有了Mesh，这些本地缓存被合并和优化，对他们所处的空间/环境有一个全局性的了解。这个框架使得内容可以被锚定，设备视角可以被共享，3D模型可以被协作。Mesh帮助你创建一个比GPS更精确的世界地图，它甚至可以在没有GPS的地方工作。它有助于提供 "世界锁定的全息图"，可以与特定的兴趣点相联系。此外，Mesh可以生成与特定物体的精确布局和几何形状相一致的相同理解，使开发者能够轻松建立可能需要在物体上叠加视觉信息的应用程序，如说明、服务记录和其他重要数据，精确地与物体的组成部分相一致。

• 全息渲染(Holographic rendering)。全息渲染是智能边缘和智能云架构的典型实例，无论设备的计算和热预算如何，全息渲染都能提供由Mesh支持的不折不扣的逼真度。Mesh允许在你的应用程序中为每个场景和模型选择本地独立渲染或云连接的远程无缝渲染。这为设计应用程序提供了灵活性，使其能够根据体验设备的不同而优化延迟和保真度。不仅如此，全息渲染还支持大多数3D文件格式，可以在支持Mesh的应用程序中进行原生渲染，解决了将用户现有的3D模型引入协作的难题。

• 多用户同步(Multiuser sync)。在一个协作会话中创建一个全息图和彼此的共同视角是一个很大的挑战。在Mesh中，这种共享背景是通过多用户同步实现的。这就是为什么参与者的任何姿势更新、动作和表情或空间中发生的任何全息变换都会被点亮。所有这些都在100毫秒的延迟内发生，无论用户是在同一个物理空间还是在世界的另一端。所有这些都通过Mesh中的空间音频得到增强，在多用户场景中创造出一种在同一物理空间中的感觉。

为了利用这些功能和核心平台特性，Mesh提供了一个跨平台的开发者SDK，这样开发者就可以针对他们选择的平台和设备创建应用程序--无论是AR、VR、PC还是手机。今天，它支持Unity以及本地C++和C#，但在未来几个月，Mesh还将支持Unreal、Babylon和React Native。除了访问功能外，SDK还提供了预建的用户体验结构，供开发者在应用程序中使用。这些预制构件旨在使开发过程更简单、更快速，以获得吸引人的混合现实体验。

支持网格的应用程序(Mesh-enabled apps)。在开发平台的基础上，微软Mesh还提供了一些应用体验，使平台充满活力。HoloLens 2 Mesh应用和具有新的企业功能的AltspaceVR是Mesh可以为沉浸式头盔点亮的协作体验的实例。这些只是微软和我们的合作伙伴正在进行的许多其他体验中的第一个。

Mesh开发者平台是全面的，其工具和功能旨在帮助开发者快速入门并提供引人入胜的多用户混合现实体验。随着我们从早期采用者和预览客户那里学习，我们将继续发展SDK以支持更多的引擎和框架。如果你有一个引人注目的应用场景，并希望加入预览，请加入MR开发者计划。这可以让你在MR领域的一些先驱者的帮助下建立你的MR应用，并在此过程中为Mesh平台作出贡献。

关于Microsoft Mesh的更多资源，请查看以下链接。

• 视频: Microsoft Mesh – Mechanics Session
• 视频: Microsoft Mesh – Ignite Session
• 博文: Microsoft Mesh Innovation Story

"你实际上可以感觉到你是在同一个地方"。微软Mesh为混合现实中的共享体验提供动力

https://news.microsoft.com/innovation-stories/microsoft-mesh/

多年来，太阳马戏团联合创始人盖伊-拉里贝尔特收到了无数关于虚拟现实技术的提案，但这些提案无法与他强烈的视觉和令人着迷的现场表演的魔力相提并论。现在，通过微软提供的一个新平台，他正在重新思考这个问题。

周二，他通过holoportation出现在微软的Ignite数字会议上，holoportation使用3D捕捉技术将一个人的栩栩如生的形象传送到虚拟场景中。在该公司首个完全为混合现实设计的主题演讲体验中，在世界各地的客厅和家庭办公室参加会议的人可以作为化身体验表演，观看在一个共享的全息世界中发生的事件。

这是该公司第一次有机会展示微软Mesh所带来的一些体验，Mesh是一个由Azure支持的新的混合现实平台，允许不同物理位置的人在多种设备上加入协作和共享全息体验。

"这一直是混合现实的梦想，从一开始就有这个想法，"微软技术研究员亚历克斯-基普曼说。"你可以真正感觉到你和某人在同一个地方分享内容，或者你可以从不同的混合现实设备上传送，即使你们不在一起，也可以和人们一起存在。"

基普曼在Ignite虚拟舞台上作为一个完全实现的自己的整体传送出现，作为模拟他身体的光线，实时讲述了节目的开幕体验。

电影制片人和海洋探险家詹姆斯-卡梅隆和领先的增强现实公司Niantic的首席执行官兼创始人约翰-汉克也与基普曼进行了远程交流，重点介绍了微软Mesh如何帮助他们创造跨越虚拟和物理世界的共享体验。

Laliberté与Kipman谈论了一项新的合作，帮助Lune Rouge（Laliberté创办的另一家公司）实现一个名为Hanai World的项目。这是一个他想了很多年的社会混合现实平台--它将把现场和数字娱乐体验连接成单一的活动--但直到现在，像微软Mesh这样的技术才赶上了这个愿景。

微软Mesh还将使分布在各地的团队能够举行更多的协作会议，进行虚拟设计会议，协助他人，共同学习和举办虚拟社交聚会。该公司说，人们最初将能够在这些共享的虚拟体验中以化身的形式表达自己，并随着时间的推移，使用整体传输技术将自己投射为最逼真、最逼真的自己。

这个新平台是微软多年来研究和开发的成果，涉及的领域包括手部和眼部追踪、HoloLens开发、创建持久的全息图和人工智能模型，可以创建具有表现力的头像。

微软Mesh建立在微软的云计算平台Azure上，也受益于Azure的企业级安全和隐私功能，以及其庞大的计算资源、数据、AI和混合现实服务。

"我们越来越多地在我们的智能云中构建价值，这就是Azure，"基普曼说。"在这些协作体验中，内容不在我的设备内或我的应用程序内。全息内容在云中，我只需要有特殊的镜片，让我看到它。"

有了微软Mesh支持的应用，从事3D物理模型工作的设计师或工程师--从自行车到高端家具到喷气式发动机到新的体育场馆--可以在一个共享的虚拟空间中以自己的身份出现，对全息模型进行协作和迭代，而不管他们的物理位置如何。

微软Mesh，一个新的混合现实平台，将允许分布在各地的团队在共享的混合现实会议中会面和合作，参与者将作为自己的数字代表出现。图片由微软提供。

建筑师和工程师可以亲自走过正在建造的工厂车间的全息模型，看到所有的设备是如何在三维空间中组合在一起的，从而有可能避免代价高昂的错误。

学习电动汽车发动机或人体解剖学的工程或医学专业学生可以作为化身聚集在全息模型周围，拆下发动机的一部分或剥开肌肉，看看下面是什么。同事们可以简单地聚在一起，在一个共享的虚拟空间里聊天，或者公司可以使用微软Mesh支持的应用程序，向世界各地的员工提供虚拟的全体员工会议或培训。

微软Mesh平台将在未来几个月为开发者提供一整套人工智能工具，用于化身、会话管理、空间渲染、多用户同步和整体传输，以在混合现实中构建协作解决方案，该公司表示。

尽管用户将在混合或虚拟现实中获得最丰富的体验，但微软Mesh的开放标准将使开发者能够自由地构建适用于许多不同设备的解决方案。HoloLens 2、一系列的虚拟现实头盔、智能手机、平板电脑和个人电脑。

在Ignite上，微软宣布了两个建立在微软Mesh平台上的应用程序。

其中包括用于HoloLens的微软Mesh应用预览，该应用允许团队成员进行远程协作，可供下载。客户还可以申请使用支持Mesh的AltspaceVR的新版本，它将允许公司在虚拟现实中举行会议和工作集会，并具有企业级安全功能，包括安全登录、会话管理和隐私合规。

该公司表示，随着时间的推移，它预计客户将能够从外部开发者和合作伙伴构建的越来越多的微软Mesh启用的应用程序中进行选择，并从计划与微软产品（如微软团队和Dynamics 365）的整合中受益。

"基普曼说："这就是为什么我们对混合现实作为协作计算的下一个大媒介如此热衷。"当两个人看到同样的全息图时，这是很神奇的。"

共同探索世界

在OceanXplorer这艘有史以来最先进的研究和深海探测船上，只有这么大的空间可以容纳所有的科学家，让他们从深海航行器上的仪器和相机不断收集的新数据中学习，这些仪器和相机可以探测从珊瑚礁和盐水池到深海热液喷口周围的海洋生物以及水下火山周围的矿物等一切。

在Ignite会议上，OceanX，一个将尖端科学与引人入胜的故事以及产品和技术体验相结合以支持海洋教育和认识的非营利组织，宣布与微软进行新的合作，在船上创建一个支持Mesh的 "全息实验室"，科学家可以聚集在一起--无论是亲自还是从世界各地的实验室和办公室虚拟--以查看车辆正在探索的区域的三维全息图。

在Ignite会议上，傲讯全通宣布与微软进行新的合作，在其研究船OceanXplorer上创建一个支持微软网格的 "全息实验室"。图片由遨游网提供。

例如，试图找出抹香鲸在某些地区捕食的原因的研究人员，可能会看到一个深海峡谷的全息图，上面有从抹香鲸身上的标签收集的数据，覆盖着关于盐度、温度和海洋化学变化的信息，并与显示鱿鱼和其他猎物可能所在的探鱼器的数据相结合。

"遨游网的副主席文森特-皮里邦（Vincent Pieribone）说："我们的想法是把我们正在收集的所有这些惊人的科学数据带到一个全息环境中，并把它作为一种方式来实时指导科学任务。

目标是让任何拥有HoloLens 2或其他兼容设备的研究人员，使用微软的Mesh，作为一个化身出现在桌子周围，并指出全息海底上他们可能有问题的特定区域，并与其他科学家就他们看到的东西进行实时交流。

在OceanX的研究任务中，经常有一群人挤在视频画面周围，提出问题并与他们的同事进行旁听。Pieribone说，不在船上的研究人员，即使他们在办公室的屏幕上观看同样的录像，也不一定能从这些互动中受益。

"他说："这其中有一个社会组成部分，是至关重要的。"我们想把每个人带入同一个'房间'，这样他们就可以互相交流，并有那种人际关系。"

为了扩大一种完全不同的探索，Niantic在Ignite上展示了在HoloLens 2上运行的概念验证Pokémon GO演示体验。它旨在展示一个新的合作愿景，该合作将建立在微软和Niantic的混合和增强现实能力之上。

在这个不代表消费者产品的演示中，Hanke和他最喜欢的公园里的一群口袋妖怪，与口袋妖怪GO的产品营销经理Veronica Saron一起，在一个共享的混合现实会议中进行战斗。

汉克说，Niantic公司的使命是创造技术，让人们能够一起社交和探索世界，无论是孩子们使用Pokémon GO与父母或朋友一起探索他们的社区，还是成千上万的人聚集在公园参加节日活动。

"他说："微软网格提供了一种全新的方式。"当我出去散步和探索世界时，把我的虚拟朋友带在身边的这个概念--我只是喜欢这个概念，我真的很想看看我们能用它做什么。"

这一直是混合现实的梦想，从一开始就有这个想法。

该演示显示了建立在Niantic的星球级平台上的Pokémon GO体验的潜力，该平台已使数百万人在现实世界中获得增强现实体验，并通过微软Mesh功能使人们能够跨越空间和时间一起出现在共享体验中，并在HoloLens上运行。

汉克说："我们的这部分工作是将数字世界和物理世界拼接在一起，将比特和原子连接起来，这样就可以利用Niantic平台实现这些体验，"。"但社会联系确实是我们所做的一切的核心，而微软Mesh的创新只是丰富了这一点。"

人类联系的另一个层面

Lune Rouge，这个由太阳马戏团的Laliberté创立的魁北克倡议，也开始探索微软Mesh如何让人们在远程地点虚拟参加音乐会、戏剧表演、DJ活动，甚至家庭庆祝活动。

Hanai World项目--受到夏威夷语的启发，松散地翻译为选择某人作为家人--旨在建立数字和实体娱乐体验之间的新联系。

其目的是创建世界各地娱乐场所的数字代表，并以足够的3D保真度捕捉现场表演，使人们可以在现实中或在他们的客厅里通过混合或虚拟现实体验同样的活动。该平台将策划Lune Rouge和用户生成的混合内容，涵盖各种媒体和流派。

"这将是对现场娱乐的一个很好的补充，"Lune Rouge的制作执行总监Alexandre Miasnikof说。"它带来了另一层人与人之间的联系，它把娱乐带给那些通常不能来参加活动的人，不管是由于地理原因还是交通原因。"

两个生活在两岸的朋友可以作为化身加入同一场音乐会，一起体验演出，或许最终有一天，某人生活在另一个国家的祖母的整体传送可以在团聚时与家人实时互动。

"我们今天所拥有的是承诺，而我们多长时间能实现这个承诺，我们不知道，"米亚斯尼科夫说。"但我们认为我们有了微软Mesh的良好基础，我们将在此基础上进行建设。"

基普曼说，这正是我们的目标：看看以前可能被认为不可能或太费时而无法建立的解决方案，现在可以通过微软网格平台更容易地建立起来。

"他说："当你考虑到开创一种新的计算媒介实际上需要什么时，你必须对整个生态系统进行深入的投资，这确实是微软所做的。

"现在我们邀请人们在此基础上创造价值，并从我们多年的艰苦研发中获益，以一种交钥匙的方式为他们提供这些功能。"

参考

• 微软新发布的Microsoft Mesh是什么？
• Microsoft Mesh - A Technical Overview
  Microsoft Mesh – Mechanics Session
• “You can actually feel like you’re in the same place”: Microsoft Mesh powers shared experiences in mixed reality