微美全息科学院：基于虚拟现实实验场景下的模拟驾驶系统

为解决驾驶模拟系统视景显示中的显示画面粗糙及驾驶员视角固定等问题,采用3DsMax建立了垫江某汽车综合试验场三维高精度模型,并基于Unity3D和HTCVive搭建了虚拟现实显示系统,进行汽车试验场完整环境的渲染和VR显示。最后通过LabviewRT和Carsim搭建了汽车动力学仿真平台,至此完成了基于VR的驾驶模拟系统构建的全部过程。

仿真结果表明:基于虚拟现实试验场景所开发的驾驶模拟系统显示画面良好,且驾驶员具有较高的视场角及自由灵活的观察视角,有效提升了驾驶员沉浸感。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们就基于虚拟现实实验场景下的模拟驾驶系统的应用进行探讨。

关键词:虚拟现实;汽车试验场;3D建模;驾驶模拟器

目前中国已成为世界上第一大汽车生产和消费国,且逐年增长的汽车市场带来了行业内的激烈竞争,驾驶员对汽车驾驶性能也有了越来越高的要求。在产品开发前期就引入人机交互的测评手段,采用模拟驾驶系统进行仿真测试,对于确保产品的成功开发和性能需求,奠定了良好的基础。汽车试验场可重现汽车行驶过程中遇到的各种道路和驾驶场景,是验证测试汽车性能的重要手段。因此,国外已建立了众多的汽车试验场,如美国阿伯丁试验场与Milford试验场、德国ATP试验场、英国MIRA试验场等[1]。中国于1958年始,先后建立了海南试验场、襄阳试验场、定远试验场、中汽盐城试验场、上汽通用泛亚广德试验场、重庆西部试验场等[2-3]。搭建实际场地进行测试验证耗资巨大,且会受到时间和天气等不可控因素影响。

随着计算机仿真技术的发展,使在VR场景下通过驾驶模拟系统进行汽车相关的模拟仿真测试成为了可能。丰田交通研究所的Mimura等[4]在虚拟道路上通过驾驶模拟系统研究高龄人士开车时限速的必要性;美国弗吉尼亚大学Brown等[5]在虚拟环境下,通过模拟驾驶系统测试自动驾驶车辆对于正常人驾驶的影响;美国爱德华大学的Brown等[6]通过NADS在虚拟场景下测试不同的酒精浓度对驾驶的影响。

驾驶模拟系统采用传统的视景显示会造成显示视角固定及画面显示粗糙等问题,因此,提出了一种基于VR试验场景的驾驶模拟系统研发方案。参照垫江某汽车综合试验场等比例建立了3DsMax模型,并使用HTCVive和Unity3D搭建虚拟现实显示系统。采用LabviewRT和Carsim构建汽车动力学仿真模型,实现了驾驶模拟在虚拟现实仿真条件下的人机交互。仿真结果表明:所构建的驾驶模拟系统实现了预期的开发功能和需求,场景显示良好,并可给予驾驶员更广、更自由的驾驶视角。

1 汽车综合试验场建模

1.1 高速环道建模

汽车试验场中的高速环道可供试验车进行连续高速行驶。文中高速环道设计形状为长圆形,其三维模型的设计可分为水平面线型和横断面线型,见图1所示。

图1：高速环道3D模型

1) 水平面线型设计。水平面线型一般由直线段OM、缓和曲线段MN、圆曲线段NE组成。直线段曲率为0,圆曲线段曲率为1/r,缓和曲线段能使圆曲线和直线之间的曲率平滑过度,是水平面线型设计的重点。

2) 横断面线型设计。由于高速环道的最高车速较大,需设计横向超高角β(坡度倾角)抵消汽车高速行驶时产生的离心力。圆曲线段NE的横断面线型设计。该试验场设置了4条高速环道,车道至内向外,车速分别为80、120、160、200km/h。车速不同,则其横向超高角不同,因此选择3次抛物线作为横断面曲线(见图1(b)横断面线型所示),使环道横断面间车速分布得更为连续均匀。以第一车道边界作为圆曲线横断面曲线起点,以曲线在每条车道中心线的一阶导数为该车道横向超高倾角的正弦值,求解该曲线方程。缓和曲线MN段的横断面型设计。由于缓和曲线各点曲率不同,则其横断面曲线方程不同,为避免曲线方程过多,以造成建模三角面过多,并引起场景渲染卡顿,所以只在缓和曲线段距起点每间隔40m处计算其横断面线型方程。3DsMax中基于水平面线型及横断面线型设计的汽车试验场高速环道模型见图2所示。

图2：高速环道3D模型

1.3 其他试验道路建模

该试验场中还有直径300m的动态试验广场,用于动态转向、最小转弯半径、直角转弯试验;测试路段长400m,3车道,宽9m的舒适性道路,用于车内噪声、平顺性测试、异响测试评价;车道总长约4280m,2车道,宽8m的综合评价道路,包含多种不同半径弯道、不同纵向坡度坡道,用于整车性能主观评价、磨合试验等;车道总长约2000m,宽15m的基本性能环道,用于动力性测量、挂档滑行测试、直接加速性能测试等。最终搭建起的完整汽车综合试验场模型见图3所示。

图3：汽车综合试验场道路模型

2 基于VR的汽车试验场显示

2.1 基于虚拟现实的视景显示系统

驾驶模拟系统的传统视景显示中存在着显示视角固定或画面较为粗糙等问题。而结合VR技术及物理仿真引擎可搭建出视角自由、画面精细的视景显示系统。笔者在分析目前基于VR的视景显示方案的基础上,采用HTCVive作为虚拟现实开发硬件,通过双目双屏的图像视角差形成立体视感。双屏分辨率为2160×1200,像素密度为447PPI,刷新率为90Hz,能满足人眼视觉的高清显示。

采用Unity3D作为虚拟现实开发软件。Unity3D对DirectX和OpenGL等底层图形API具有高度优化的图形渲染通道,并内置有基于开源SDKOpenVR构建而成的SteamVR插件,支持VR硬件的接入和信息封装，方便了虚拟现实显示系统的研发。虚拟现实视景显示系统采用HTCVive作为显示设备,Unity3D作为图形仿真及渲染引擎。虚拟现实系统显示原理见图4所示,HTCVive两基站捕捉头显设备运动,将运动信息传递至Unity3D,其中的SteamVR再根据头部旋转信息切换人眼实时所见画面,并将其转换为左右眼双屏显示,输出至头显设备,实现场景的3D立体显示。

图4：虚拟现实场景显示原理

2.2 基于虚拟现实的汽车试验环境搭建

实现了虚拟视景显示后,还需在Unity3D中搭建完整的汽车试验场环境,包括自然环境、试验场测试道路、实时天气系统。

1)环境地形。Unity3D中的Terrain工具可创建地形及设置地面纹理贴图,并根据距离远近切换显示模型精细度,提高渲染速度。

2)试验场道路。通过3Dmax完成汽车试验场道路建模,考虑到模型的通用性,将其导出为FBX格式,并导入至Unity3DAsset中作为预制件,便于Unity3D中的管理与场景搭建。

3)天气系统。天气系统的创建主要运用了天空盒和粒子系统,可模拟出黄昏、夜晚的明暗显示,以及雨天、雪天等不同天气下的变换效果(见图5)。

图5: 场景渲染

2.3 基于虚拟现实的驾驶员所见画面显示

搭建了VR视景显示系统及汽车试验场景后,还需模拟出驾驶员的显示视角,从而确定视角显示画面,并将该处画面传输至头显设备,使驾驶员具有三维沉浸感的视觉体验。具体分为以下3个步骤完成。

1)Unity3D中驾驶员所见画面显示。为获得驾驶员在汽车试验场中的所见画面,需创建Camera仿真模型。汽车试验场环境下的所有物体在虚拟世界中都具有唯一世界坐标,而Camera模型根据世界坐标摄像机坐标裁剪坐标屏幕坐标的坐标变换,计算汽车试验场中的模型在Camera中的显示位置,并将Camera处的所见画面实时显示。在运行过程中将Camera仿真模型放置于驾驶员人眼处,即可模拟出驾驶员的所见画面。

2)HTCVive中驾驶员所见画面显示。SteamVR的CameraRig已整合Camera仿真模型,在设置了CameraRig的各项属性后,便可实时调取CameraRig处的显示画面,而后将其转换为左右眼分屏的VR显示,通过HDMI线传输画面至HTCVive头显屏幕中,实现VR头显处的驾驶员所见画面重现。

3) HTCVive中驾驶员所见画面切换。随着驾驶员头部的位姿变化,头显设备的坐标信息会通过SteamVR传输至Unity3D中,并实时更新CameraRig位姿,通过CameraRig在汽车试验场景下的坐标变化来改变头显设备中的显示画面,保证驾驶员的所见画面跟随头部运动而变化。

3 基于VR的驾驶模拟系统研发

3.1 驾驶模拟系统架构设计

驾驶模拟系统是在人车路环境下的闭环仿真系统。但基于VR的汽车试验场景不能直接建立汽车动力学仿真模型,反映出汽车的运动状态,还需结合Carsim及LabviewRT搭建汽车动力学联合仿真平台。驾驶员根据VR头显设备中的虚拟场景来操纵罗技G27,通过汽车动力学仿真平台采集驾驶员操控设备信号,结合整车动力学模型及虚拟道路,解算出实时的汽车位姿信息,并发送至Unity3D,以驱动虚拟汽车运动。同时Unity3D根据头部位姿信息,并通过坐标变换和SteamVR,实现驾驶员在头显设备中的所见场景切换,从而形成闭环仿真。

3.2 驾驶模拟系统中驾驶操控设备

罗技G27作为驾驶员操控设备,通过USB接口及罗技驱动连接至HostPC中。由HostPC的Labview程序采集方向盘及踏板数据,并对采集到的数据进行预处理,使其适应车辆动力学模型输入。

3.3 驾驶模拟系统中汽车动力学仿真平台架构

本驾驶模拟系统采用了基于LabviewRT及CarSim的联合仿真架构搭建车辆动力学实时仿真平台。LabviewRT仿真环境由软件Labview和硬件NIPXI8108两部分构成。Labview是一种使用图形化编程语言的开发环境,NIPXI8108为NI公司的高性能实时控制器。在HostPC端使用Labview的Real-Time模块开发LabviewRT程序,并通过以太网将程序下载至NIPXI8108,从而建立实时运行环境。Carsim针对LabviewRT开发了3个子VI,分别为仿真初始化(*_Init.vi)、单步迭代(*_Step.vi)、仿真终止(*_Terminate.vi),以便嵌套入LabviewRT程序中,并在每一次仿真循环中可重复调用。

4 结论

根据汽车综合试验场标准参数,在3DsMax中等比例建立了垫江某试验场模型,并结合Unity3D及HTCVive完成了VR视景显示系统开发,通过LabviewRT及Carsim完成了汽车动力学实时仿真,最终完成了基于VR试验场景的完整驾驶模拟系统研发。基于虚拟现实试验场景的驾驶模拟系统中的场景较Carsim更为丰富,且与驾驶模拟系统的传统单屏显示相比,其FOV增加了22%~83%,其驾驶员前方的视角范围从单屏的固定视角增加至自由的180°,驾驶显示视角更广、更灵活,符合实际驾驶状态。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员：

郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室 合现实技术研修班 学习混合现实，增强现实技术，参与研发多个重点项目。

江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得 ICRCA-2018 机器人 EI 国际会议"最佳论文奖"。

杨军超，重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生，华盛顿大学电子工程学院联合培养博士，长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化，以第一作者发表SCI/EI 论文 6 篇，中文核心 1 篇，申请专利 4 项。

李维娜 ，2017 年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息（compressive digital holography）的博士后工作，2018 年 11 月进入清华大学深圳国际研究生院的先进制造学部，在以前工作的基础上把数字全息（digital holography）拓展到机器学习（machinelearning）领域，特别是对 U 型网络（U-net）的改进和应用。在上述研究领域以第一作者发表高水平论文 5 篇，以第二作者发表的高水平论文2 篇。

曲晓峰，香港理工大学博士，现任清华大学深圳研究生院博士后，主要研究生物特征识别、机器视觉、模式识别，与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。

危昔均，香港理工大学康复治疗科学系博士，南方医科大学深圳医院虚拟现实康复实验室负责人，主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。

单羽，昆士兰科技大学数字媒体研究中心（澳大利亚）博士，研究方向为虚拟现实娱乐产业与亚洲创意经济，曾参加多场虚拟现实产业的国际学术会议并发表主题演讲，发表多篇以“虚拟现实艺术”相关的学术论文，并参与国内多个虚拟现实娱乐产业领域的项目研究。

刘超，新加坡南洋理工大学博士，是深圳市南山区领航人才，深圳市海外高层次人才孔雀计划C类, Molecular Physics 2011年度最佳年轻作者提名，主要研究方向为人工智能预测过渡金属氢化物金属氢键键长与解离能和环式加成反应中量子力学/分子力学反应机理研究，曾参与过流程模拟软件的开发与研究。

张婷，美国西北大学博士后，香港大学博士，海外高层次人才孔雀计划C类，主要从事VR/MR关键技术研发应用和复杂服务系统优化等研究，发表全息专利5项。获全国＂挑战杯＂创业计划大赛 湖北省一等奖，华中科技大学一等奖。

李庆普，上海理工大学博士，在虚拟现实领域有丰富的研究经验及项目实践经验，曾参与基于计算机触觉技术的虚拟医疗仿真技术研究、汽车模拟驾驶仿真研究、多体感VR硬件研发及VR实训安全教育等多个项目。其已发表多篇相关论文并取得多项专利。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。