本文转载自:红杉汇,作者:洪杉。猎云网已获授权。
苹果的Vision Pro开售不久,就已经狂卖20万台。有人说它是“有史以来最好的消费类头显”,但有人也对其不稳定的表现、不够自然的数字化身、过重的分量等颇有微词。
无论怎样,苹果将诸多想法融合在一起打造成的这台“电脑化”的头显产品,再一次将VR、AR相关的产品带回了大众的视野。AR在最初的几年,凭借视频游戏等迅速赢得了关注。今天我们就来聊聊AR领域的发展趋势,以及如何与企业业务协同发展。
趋势一
AI驱动AR的未来
AI的发展一直与AR紧密相连。AI模型在人脸扫描、地图扫描等任务中效率更高,部分AI工具已经可以用来创建和操作3D对象。今天,AR不仅只利用AI来分析传感器数据——AI开始被用来实现一些更重要的任务,以补充和增强AR体验。
图片
• 构建逼真的人体模型和物体扫描:AI已经帮助AR从仅仅分析一个人脸部的关键点,发展到能够重建一个逼真的人脸或其他物体,生成虚拟环境中人物的头像或资产的三维模型。
• 物体检测和标注:机器视觉可以识别并标注物体。这不仅适用于识别,还可以在现实世界的物体上放置虚拟物体,提升AR的交互体验。
• 文字识别和翻译:用户只需将摄像头对准对象文字,就能获得实时翻译。
AR与AI搭配,能帮助企业解决一些业务方面的问题,特别是用户服务难题。例如,当你家的某个电子设备出现了故障,很多时候你不再需要苦等维修人员上门,企业可以通过AR+AI技术指导用户排除故障、重新设置,同时也减少了服务成本。
图片
| 趋势二
更加逼真的虚拟化身
社交AR的未来将会从卡通形象逐渐过渡到更逼真的虚拟化身,带来更自然的AR体验。苹果公司在发布Vision Pro时就展示了这项技术。
他们将这些逼真的化身称为“空间Persona(人物)”,并利用机器学习识别与展示更多的肢体语言和面部表情,提升FaceTime视频通话的AR/VR互动效果。
图注:苹果为Vision Pro推出的“Persona”功能将应用于钉钉会议,实时反映参会者的表情和动作。
苹果公司并非孤军奋战。Meta公司也在研究类似的概念,并将其命名为“Codec Avatar”(编码化身)。事实上,他们已经专门开发了一个深度生成模型,来自动化创建逼真的3D人脸。
| 趋势三 移动AR——从游戏到商业工具
AR技术在移动设备上最初只是一种有趣的“玩具”,但现在它们已经发展成为一种非常有用的工具,可以完成如导航、远程协助、培训、产品可视化和场景分析等关键任务。
ARCore:最新的安卓AR功能
谷歌今年将发展其安卓AR技术ARCore。该框架在2022年发布的地理空间API的基础上,引入了街景参数接口,方便开发人员调取100米半径范围内的建筑物和地形的几何图形,从而在AR应用中创建更真实的建筑物和地形互动体验。
其中,屋顶锚点(Rooftop anchors)是一项重要功能,它可参考建筑物的实际高度和几何形状,将数字对象锚定在屋顶上;另一项新功能是地理空间深度(geospatial depth)。地理空间深度也是基于现有的街景数据,结合用户手机自带的深度传感器,生成65米的深度地图。
ARKit 6:iOS最前沿的AR技术
苹果公司的AR框架也在不断发展。其中一些最新功能包括:
• ARKit会话期间的4K视频录制
• 激光雷达(LiDAR)扫描仪深度API
• 利用LiDAR传感器的平面探测功能实现即时AR
• 动作和姿势捕捉
• 蒙特利尔、悉尼、新加坡和东京等城市的位置锚点
ARKit 6中得到增强的最强大功能之一是房间测量规划(RoomPlan),它利用设备上强大的LiDAR,可以快速借助iPhone或iPad创建建筑物的平面图,是强大AR测量工具的基础。
总体来说,ARCore和ARKit之间的区别更多是硬件,而非软件层面。尽管存在一些安卓设备可以与新款具备LiDAR功能的iPhone相媲美,但毕竟数量有限。而安卓设备的硬件配置难以统一,也让开发人员通过ARCore打造一致的体验变得更加困难。当然,苹果公司的设备也是如此,并非所有iPhone都配备了LiDAR。通常情况下,这种扫描仪只在Pro系列 iPhone和部分iPad Pro上可用。没有这种先进的深度传感器,设备就无法获得高保真的AR体验。
| 趋势四 WebAR——打造无障碍体验
移动AR面临的最大挑战之一就是硬件兼容性。功能最强大的AR体验虽然效果好、令人印象深刻,但对于绝大多数设备来说还无法很好实现。不过,还有一种方法试图另僻蹊径,那就是WebAR,它通过与大多数带摄像头的设备兼容的网络浏览器来提供更简单的AR体验。
虽然WebAR解决方案的功能不如手机本地硬件实现的AR强大,但其更广泛的设备兼容性是最大优势——WebAR几乎能在任何设备上实现面部滤镜、改变头发或物体的颜色、更换背景和绘制简单的3D物体等功能,这一点非常有用。
网络AR技术的未来也与AI密切相关。很受欢迎的WebAR开发平台之一,来自Niantic的8th Wall(第8墙)已经推出了一系列新功能,供开发人员在网络上开发沉浸式App。App连网后还能通过DALL-E和Stable Diffusion等AI模型生成更逼真的天空。与此同时,还可以与他人共享AR体验。
| 趋势五 跨平台AR应用
许多公司创造AR体验的最终目标是尽可能多地锁定客户。然而,随之而来的挑战也不少,例如:
• 不同的平台有不同的限制和功能,受众可能拥有不同的设备。
• 为每个平台原生开发对应平台App的成本可能会很高,而且需要专门的团队来确保每个平台之间的一致性。
• 跨平台的AR开发工具无法达到与原生开发工具相同的强大功能和质量水平。
跨平台开发工具比较适用于不太复杂的App开发。然而,如果你的App需要更强大的功能和更高的质量,原生开发工具是最佳选择。例如,如果你想开发一个在线商店,其中90%的功能不依赖于平台,对性能要求不高,只需要有一个简单的AR产品预览模块,那么你可以选择跨平台AR。
但如果App的功能需要更强的设备性能或是需要针对不同的平台,比如一些3D扫描或AR导航等App,那么各平台原生的开发工具会是更好的选择。
| 趋势六 可穿戴AR已成为现实
过去几年,可穿戴AR技术行业发生了重大变化。苹果公司的Apple Vision Pro便是消费者AR头戴设备迈向未来的重要里程碑之一。它拥有更高分辨率的显示屏、大量的分布式传感器、内置空间音频以及眼睛与手势跟踪功能,虽然从目前的反馈来看褒贬不一,但不可否认的是它的商业前景非常可观。
可穿戴AR体验最主要的特点是,你可以在任何地方生成一个屏幕,再通过它来打开App;你可以在家里的任何地方创建一个巨型屏幕来看电影。AR头戴设备将为我们打开一个全新交互的时代,空间计算则是我们与这些机器自然交互的必要条件。
苹果公司的Vision Pro的开发流程基于visionOS SDK(软件开发套件)。开发人员可以利用熟悉的苹果工具为该平台开发App,也可以使用visionOS SDK调整现有的App,使其适配于Vision Pro。
ARKit和visionOS的结合,可以实现更多高级的功能,如骨骼手部跟踪和一些辅助功能等。这样,用户就可以通过手势(或眼球运动、语音指令、头部运动等)与设备在虚拟空间中交互。
Meta也推出了具有全彩透视功能的Quest 3和Quest Pro,价格相比苹果公司的AR设备要低一些。
| 趋势七 AR与营销、零售业
AR技术在营销行业有许多不同的应用。AR名片、用户手册和产品演示都相对简单,可以转化为沉浸式体验。这是与竞争对手脱颖而出的绝佳方式。AR技术在营销领域持续为企业带来更多收益。AR Insider报告称,全球AR技术的未来收入预计将在2027年攀升至398亿美元。
在零售行业,AR大有可为。目前,“虚拟试穿/试用”之类的功能继续成为AR在零售应用中的主要推动因素——它在帮助企业提升客户在线购物体验的过程中,沉浸式体验起着重要作用。虚拟房间、虚拟试衣间、虚拟化妆间等正在流行。
| 趋势八 AR与导航、汽车
室内外导航
多年来,创新者一直致力于为室内和户外环境创造身临其境的导航体验——用户无需低头看屏幕,实际场景会自动出现动态的三维标记。不过,由于没有统一的方法或技术能适用所有环境类型,因此AR导航的未来确实存在细微差别。
室内导航在很大程度上仍受限于定位精度。打造AR室内导航系统并不难,但提高其定位精度却十分不容易。具体来说,室内导航可以引导顾客前往某一商店,给出相对准确的方向指引,但却还无法实现将顾客引导到商店货架上的特定产品。
至于户外方面,GPS本身就能在所有户外场景提供近乎完美的定位;从环境成像来看,对于正在驾车的用户而言,法规可能会禁止行驶中司机查看在挡风玻璃上显示的AR导航。目前谷歌和苹果在其AR平台中引入了VPS(Visual Positioning Systems,视觉定位系统),它们会比对街景图像数据库来确定用户的位置,然后在场景中生成AR导航。然而,如果无法获得准确定位或天气条件不允许,比如大雾天气,这些视觉系统就可能无法正常运作。
汽车驾驶
此外,汽车行业在以下方面也正从AR技术的创新中受益:
• 远程协助:为驾驶员提供引导式协助和诊断;
• 停车位检测:在繁忙的停车场中突出显示空闲的停车位;
• 疲劳驾驶检测:利用面部识别技术、头部和眼部动作追踪技术等检测司机的注意力情况,及时提醒疲劳的驾驶员集中注意力;
• 抬头显示屏(Heads-up display,HUD,指无需低头看手机显示屏,而直接在眼前的透明显示屏上看到更多信息的设备):通过在视野范围内指引方向、突出危险来协助驾驶。
| 趋势九 AR在医疗领域中的应用
正如前面导航的例子一样,AR技术在提供无需用手交互的界面方面表现出色。像微软的HoloLens这样的可穿戴显示器已经被医生用于辅助手术,在不干扰手术的同时为医生提供病人生命体征等重要信息。
结合机器学习算法,AR技术可以提供有效的疾病检测支持。谷歌就在不断更新他们GitHub上的AR显微镜库,方便开发者和医疗专业人员利用AR技术更好地检测癌细胞。