前两周都在强调全息技术的AR-HUD,传统光学的AR-HUD因为FoV和VID等都受限,因此在显示内容上也比较单调,通常就是一些将简单的导航信息和预警信息。如果今后过度到全息技术,FoV和VID都达到理想的条件,那么在显示内容这块就有很大的创造空间了。但是将那么多丰富的信息转变为AR画面还是有很大难度的,因此就产生了一个新的技术细分领域,AR引擎。当然,不同公司也有不同叫法,有叫AR Generator的,也有叫AR Creator的,都是一个意思。
 
一般来说,AR影像的生成大体可分为四个步骤:
  • Binary:将所有像素显示为黑白,只凸显出要增强的部分。

  • Labeling:在凸显出来的部分打上标签将其区分出来。

  • Marker:从区分出来的部分提取实际要显示的区域。

  • 将提取出来的部分输出到现实画面。

 

AR引擎的概念

在AR引擎中,主要考虑三个大问题:数据收集(收集哪些数据?)、数据融合/处理(如何处理数据?)、数据可视化(如何最终显示画面?)。

数据收集

为了显示ADAS信息,数据源就会涉及到摄像头、雷达,甚至今后可能还会有激光雷达等传感器。另外还要从IMU等获得车辆信息,当然还要从座舱域控制器内提取基本的导航信息。

数据融合/处理

各种数据源的数据融合后,还需要高精度定位,再加上车辆的运动姿态信息,才能基本确保AR影像的准确匹配。我们看到现在很多所谓的AR-HUD的画面投出来经常歪歪扭扭的,就是这部分没做好。另外还有一个延迟的问题,这就要看整个数据融合和处理过程的pipeline可以优化到什么程度了。
 

数据可视化

这部分主要是3D渲染的部分,要进行坐标变换,还要进行一些画面补偿。松下在今年CES上发布的AR-HUD概念说到要用防抖相机,在硬件层面对画面稳定性也是很好的增强。
另外,SLAM技术将成为关键,像Phiar给松下做的AR引擎就用到了SLAM。在未来,SLAM的最终目标是在真实环境中渲染虚拟对象,目前AR和VR行业在这方面都相当重视。
 

AR-HUD的软件部分:AR引擎

 
AR引擎的未来发展
未来车厂大量采用AR-HUD时,在时间点上来看可能基本上都会用到域控制器了。所以AR引擎最大可能会以SDK的形式整合进座舱域控制器。在AR-HUD系统本身里只会保留图像矫正的部分,GUI和AR引擎部分都会集成在域控制器内。
目前阶段,AR引擎可能还是会由外部供应商来做,但因为AR-HUD涉及到ADAS信息、座舱域控制器这些对车厂来说比较涉密敏感的部分,因此会不会有实力的车厂在未来AR引擎这部分也要采取自研的方式呢?当然也不排除干脆收购一个专业团队。
 

AR引擎行业现状

目前国内声称可以做AR引擎的公司大多都是之前做AR导航的公司。像百度、四维、东软,甚至腾讯、华为都有自己的AR引擎方案。但大多应该只能做到简单的显示内容,如果涉及ADAS信息这一类,有ADAS/自动驾驶开发经验的公司就会有优势了。

另外AR-HUD的系统开发商除了光学系统外也有很多自己开发AR引擎的,不过他们因为缺少ADAS方面的经验,更多的优势可能在后端的可视化部分。

 

AR-HUD的软件部分:AR引擎

锐思华创的AR-HUD系统架构图

 

也有一些Tier1也在布局AR引擎的。大陆因为一直很重视AR-HUD产品,子公司Elektrobit也在开发AR引擎,去年奔驰S级的AR-HUD好像就采用了Elektrobit的AR引擎。LG在大众ID系列上也采用了自家的AR引擎解决方案Conniro。当然这部分并不是Tier1传统擅长的领域,很多也是与专业公司合作的。

 

AR-HUD的软件部分:AR引擎

大陆的AR引擎,但是透露的信息不多

 

AR-HUD的软件部分:AR引擎

LG的Conniro

 

再有就是专业的AR引擎公司。其中奥迪Q4 e-tron采用的是德国Apostera的AR引擎。美国的Phiar是手机AR导航起家,今年CES时和松下进行合作做了演示。

 

AR-HUD的软件部分:AR引擎

Apostera的AR解决方案,较详细,

 

总的来说,我们可以看到,前端的数据融合部分是之前有过ADAS开发经验的公司较擅长,而后端的3D渲染、可视化部分则是另外一个领域,一般游戏公司较擅长这块。这部分我们下一次谈HMI部分的时候展开说一下。Stay tuned。

 

 

 


from A to B

AR-HUD的软件部分:AR引擎

原文始发于微信公众号(Astroys):AR-HUD的软件部分:AR引擎

艾邦现建有汽车抬头显示HUD微信群,大陆电子、未来黑科技、泽景、马瑞利、华阳多媒体、法雷奥、怡利电子、前海智云谷、613所、矢崎仪表、疆程、乐驾科技、京龙睿信、均胜电子、炽云科技、锐思华创、舜宇光学、广景、宝沃汽车、北汽、日产、比亚迪、一汽、上汽、蔚来、吉利、3M、积水、福耀玻璃、富兰光学、亮宇光学、京瓷、瑞霏光电等,欢迎扫码加入。加入前请转发本文。

长按识别二维码,加入群聊