微美全息科学院：基于虚拟现实技术的车辆远程驾驶技术

摘要：无人驾驶以及人工智能是目前车辆领域的研究热点。考虑试验成本，如何在虚拟环境中进行无人车道路测试成为了新的研究方向。在无人驾驶实验中，需要有驾驶员在试验车辆中保持对车辆的控制能力，这无疑增加了驾驶员受伤的风险。而远程驾驶不但保留了驾驶员对车辆的控制权，也降低了驾驶员的受伤风险。

同时，在移动机器人领域，远程驾驶也拥有良好的发展前景。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们对虚拟现实技术的车辆远程驾驶技术展开深入研究。现在，VR /AR已触及各行各业，成为产业发展的重要技术。

关键词：虚拟现实；远程驾驶；无人车辆

1引言

随着传感器和机器学习的不断进步，国内外许多乘用车制造商都瞄准了无人化、智能化车辆驾驶的发展方向。车辆自动驾驶技术的快速崛起，推动无人驾驶产业的迅速升温。但是若实现完全的无人驾驶，并投入实际运营，目前还存在许多技术难点，尚不能达到全天候以及非结构化道路行驶，无人驾驶技术从其初步探索，到技术的发展成熟至全面推广普及将需要很长时间。

无人驾驶技术主要面临路况识别、车辆控制以及车辆信息交互等诸多技术的发展限制，并且由此带来的一系列伦理规范、法律责任与监管政策等社会问题也逐渐显现出来。基于人工智能的路况识别与环境感知是无人驾驶最重要的技术之一，车辆需要自主对行人、来往车辆、交通信号灯等进行准确识别并做出相应判断。然而近年来，Uber、谷歌、特斯拉等发生的多起自动驾驶汽车致死事故[7]对目前的路况识别技术提出了更大的质疑与挑战。

图1所示为Uber一辆自动驾驶SUV发生车祸现场。

图1 自动驾驶SUV发生车祸

对于无人车辆而言，车辆与现代交通系统、车辆与车辆之间的信息交互也尤为重要。此外，OTA(Over-The-Air，空中下载)作为未来无人驾驶汽车升级车载程序的发展趋势，网络的下载速度、覆盖范围和信号的稳定性等也对无人车的驾驶安全性及使用便捷性有至关重要的作用。由此来看，无人驾驶车辆的发展将还有很长的一段路要走。

远程控制技术从20世纪初第一次被提出，并随着计算机技术、无线通信技术和传感器技术等新兴技术的出现，如今已广泛的应用于海、陆、空等各个领域，影响着人类生活的方方面面。运用远程控制技术，可使机器或设备到达人难以到达的艰苦环境，有效降低工作成本，避免人员伤亡。可靠的导航、有效的运动控制以及定位传感器数据的实时获取是车辆远程控制技术的关键。传统的车辆远程控制技术，是通过从车辆安装的传感器与摄像头传回的画面，由操作者分析当前车辆所处的环境，做出决策对车辆进行姿态调整，实现车辆的控制。由于车辆安装的传感器和摄像头数量有限，可能产生盲区。此外操作者的临场感不强，操作精度得不到保证。通信技术也限制了数据传输的实时性，使得远程操作者对车辆运动姿态的控制无法根据环境变化及时进行调整。

由于远程车辆只能依靠人的行为决策进行运动，但操作者无法全面获取车辆及环境信息，当车辆面对突发状况时，由于缺少一定的自主性，如障碍判断、环境感知等，导致车辆远程控制失败。随着机器学习、人工智能等新兴学科的蓬勃发展，车辆的智能化、自主化程度越来越高，为车辆远程驾驶提供了新的起点。

此外，随着5G网络的发展，超大带宽、超低延时和超高可靠的特性，使数据的实时传输得到有效保证，也为车辆远程驾驶提供了可靠的通信保障。2018年6月27日，在世界移动大会(MWC)上海期间，中国联通携手爱立信、驭势科技进行了国内首个5G超远程驾驶实车演示并取得成功[13]，如图2所示。

图2 5G超远程智能驾驶现场演示

虚拟现实技术具有强烈的沉浸性(Immersion)、交互性(Interaction)和想象性(Imagination)，即所谓的3I特点，近年来也逐渐渗透到科技的各个领域。2018年GTC大会上，英伟达通过将Holodeck包括HTCVive，驾驶赛车座椅和方向盘在内的VR设置，以及安装有远程控制器的一辆汽车相结合，展示出用户如何一边佩戴头显一边远程控制汽车，其展示的一大重点是自动驾驶汽车与AI自动驾驶平台DRIVE。我国由于在虚拟现实环境下的驾驶技术研究较晚，在新的历史环境下，还需要进一步的发展才能逐步缩小与发展国家的差距，从而实现更强、更具有沉浸感的虚拟仿真技术。

2016年8月，硅谷产品设计公司219 Design团队开发出了一款能利用HTC Vive虚拟现实头盔控制的机械臂，可以允许用户精确而直观的实时控制手臂，并且可以记录自己手臂的运动轨迹，机器手臂在响应命令后可以模拟用户记录的手臂运动轨迹，从而“教”会机械臂实现指定动作。2017年10月，麻省理工学院计算机科学和人工智能实验室(CSAIL)发明了一种新型虚拟现实头显设备，操作者可以使用Oculus Rift头盔和Touch手柄来远程控制机器人，甚至还可以使用手动控制器来直接控制机器人的机械臂。

另据外媒2017年12月报道，NASA和索尼正在利用PlayStationVR开发一个名为Mighty Morphenaut的演示应用，用来练习如何控制太空中的人形机器人。2018年1月，Brown University计算机科学家开发了一款软件，可帮助用户沉浸式观察机器人的周围环境，在千里之外对机器人进行操控。通过互联网，这款软件能够将机器人的力臂抓手、摄像头、传感器连接至VR硬件设备。操作者借助手持控制器，只需移动自己的手臂，便能控制机器人的力臂，从而完成复杂的操作任务。

我国有关企业也在致力于VR远程控制的研究。目前而言，百度公司和上汽集团对于无人车辆的虚拟驾驶研究，处于国内较为领先的地位。

图3为MIT用VR技术远程控制机器人。

图3 MIT用VR技术远程控制机器人

国内外通过对VR远程控制机器人、机械臂的研究并取得的一系列成果，使VR远程控制车辆成为可能。将人与远程机械的运动结合，操作者操控远程机械的同时远程机械又具有一定的自主性，从而实现对机械的训练及远程控制。

因此，结合虚拟现实技术，综合现代通讯的发展，并提高车辆的一定自主程度，通过虚拟环境完成对无人车辆的全方位观察和控制，实现车辆虚拟远程驾驶，不仅可以有效解决当前无人车辆面临的环境识别不足、车辆自主控制不准确等问题，而且可以保证车辆安全，也可使操作者具有临其境的驾驶体验感受。

2远程驾驶技术框架

随着数字技术的不断发展，基于虚拟现实的虚拟驾驶技术不断进步。虚拟驾驶技术也从对汽车模拟器的研究，到如今应用于无人车的道路测试及驾驶员的驾驶训练。虚拟驾驶系统主要由控制系统、视景仿真系统、驾驶模拟器以及音响设备、显示器等其他部件组成。其中，控制系统为实物，包括方向盘、油门踏板、刹车踏板和换挡杆，驾驶员通过控制系统改变虚拟环境中车辆的运动状态，视景仿真系统对车辆姿态进行解算，并将车辆信息通过显示器传递给驾驶员，使驾驶员及时感知车辆运动姿态及路况环境变化;驾驶模拟器根据车辆运动姿态的变化调整方位与角度，使驾驶员姿态与车身姿态保持一致，增强体验感与真实性。

车辆远程控制系统主要包括监控终端和车载终端两大部分，系统结构图如图4。

图4车辆远程控制系统结构

车辆的主要位置及姿态信息通过卫星定位和传感器进行数据采集，并以网络传输至监控人员的操作界面上，操作人员对信息进行分析判断并发出相关指令，实现对车辆运动姿态的调整。远程控制系统主要通过无线网络进行信息传输，5G网络的出现对通信延迟性的解决提供了很好的解决途径。

虚拟车是在虚拟环境下通过车辆动力学模型、道路模型、轮胎模型等实现车辆的行驶，而实车是在实际路面上进行行驶。由于建模精度的影响，为保证虚拟车和实车尽可能一致的位姿状态，在分析虚拟驾驶系统和车辆远程控制系统的基础上，建立了基于虚拟现实的车辆远程驾驶技术结构框图如图5所示。

图5车辆虚拟远程驾驶技术结构框图

图5中实车和虚拟车之间的信息采用5G技术实现车间通信。驾驶员通过操控方向盘、油门踏板、制动踏板和换挡手柄等操控系统控制虚拟车辆的运动状态，虚拟车辆通过姿态预判调整实际车辆的操纵，使实车的运动状态发生变化。

若实车状态与虚拟车状态不一致，则通过两车之间的姿态修正模块将数据传递至姿态预测模块，实现对实车的车辆姿态调整。同时，实车传感器采集到的周围环境信息对虚拟车辆所处的虚拟环境进行实时生成，并传递至视觉仿真系统中，通过HTC头盔显示装置将信息反馈至驾驶员，且将车辆由于运动姿态的改变而产生的位姿信息通过驾驶座椅进行体感反馈，保证远程驾驶员具备实际车驾驶的感觉，进一步提升远程车辆行驶的安全性。

操作者头戴VR头显，通过观察头显内虚拟环境中车辆的运动状态与周围环境，对车辆进行相应的操作指令，如操纵换挡手柄进行换挡、控制方向盘使车辆转向等，使真实环境下的车辆运动状态发生相应改变，实现对实车的远程控制。同时为了消除视野盲区，通过在实车上安装雷达、传感器等使车辆具有一定的自主性。与无人驾驶技术相比，车辆虚拟远程驾驶技术没有将人真正的排除在车辆控制之外，而是通过操作者远程发出的一系列控制动作，并通过虚拟环境对实际车辆进行监测控制，既可实现车辆的“无人”驾驶，有效提高远程车辆行驶的安全性能，使驾驶员与车辆分离，又可真正实现车辆的无人化。

3关键技术分析

1)环境实时生成技术

虚拟驾驶环境可以为自动驾驶和虚拟驾驶提供与实际驾驶相近的仿真环境，也可以构造出典型而复杂的驾驶环境。由于其功能的特殊性，运用虚拟现实技术实现驾驶环境的实时仿真，构成多维的、可感知的、可度量的、逼真的虚拟驾驶环境，对于车辆的远程驾驶尤为重要。在虚拟世界中，虚拟世界的物理模型侧重于几何表示，缺少逼真的物理和行为模型，从而使虚拟对象与真实对象之间存在很大的差异。而且虚拟现实技术目前主要研究的是视觉方面，在听觉、触觉、力反馈等的研究还比较落后，这有可能导致人机交互中存在一些局限因素，降低了真实性与实时性。实际驾驶环境具有的复杂性和不确定性等特点，使得虚拟驾驶环境的实时渲染成为一项很大的挑战。

2) 基于人工智能的车辆动力学仿真技术

人工智能是计算机科学的分支之一，所包含的领域较多，涵盖机器人、语言识别、图像识别等。随着人工智能研究的不断深入，人工智能逐渐应用到各个领域中。目前，人工智能在车辆中的应用主要用于车辆的自动驾驶，完成对车辆的视觉、语言等信息的识别。而车辆动力学系统的结构较为复杂，系统自由度较多，各组件之间的连接也较多，这增大了在虚拟环境中准确描述车辆动力学性能的难度。基于深度学习的人工智能，应用于车辆动力学仿真模型的研究，虚拟环境下车辆动力学仿真技术的进一步发展具有重要意义。

3)碰撞检测技术

虚拟场景里的模型，包括天空、地面、车辆等对象都是相互独立的，在交互控制过程中，视点(虚拟车辆)可以从各个对象中直接穿过。而在现实生活中，两个不可穿透的物体是不可能拥有一个相同的空间区域，因此，利用碰撞检测(Collision Detection)可以来判断某个时刻虚拟场景中的不同对象之间是否发生了碰撞。然而，目前的碰撞检测技术尚不满足任意物体间检测的需要，仍较局限于规则的几何凸体，因此研究满足虚拟驾驶环境的碰撞检测技术具有重要的意义。

4)无线通信技术

近十年来，移动通信技术已成为当今应用最广泛、发展最迅速的通信技术。移动通信技术的发展迅猛，使新技术和新业务不断涌现。要想实现在虚拟环境下对现实世界的车辆进行远程遥控驾驶，就必须对虚拟世界和现实车辆的相关数据进行实时传输并及时发送指令。而无线通信技术就像一座桥梁，架起了车辆远程控制系统和监控中心的数据通信之路。利用无线通信网络建立车辆远程控制系统，具有永远在线、网络覆盖范围广、通信资费低、数据传输快、实时性好等的特点。通信技术的实时性、快速性对于调整实际车辆的实时姿态以及应对突发情况都具有重要意义。对于远程驾驶车辆，数据及图画的实时传输尤为重要。因此，如何解决无线通信技术的延迟性、滞后性问题是一关键技术。5G无线通信技术[25]的发展也为车辆远程遥控驾驶的实现提供了更大的可能。

4结语

本文分析了国内外无人驾驶、虚拟驾驶和车辆远程控制的特点，结合驾驶环境多变性，车辆动力学模型仿真精度以及实际驾驶中的沉浸、交互对提高车辆行驶安全性等需求，介绍了虚拟现实环境下车辆的远程驾驶框架，分析了相关的关键技术，叙述了基于虚拟远程驾驶带来的未来发展。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员：

郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室 合现实技术研修班 学习混合现实，增强现实技术，参与研发多个重点项目。

江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得 ICRCA-2018 机器人 EI 国际会议"最佳论文奖"。

杨军超，重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生，华盛顿大学电子工程学院联合培养博士，长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化，以第一作者发表SCI/EI 论文 6 篇，中文核心 1 篇，申请专利 4 项。

李维娜 ，2017 年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息（compressive digital holography）的博士后工作，2018 年 11 月进入清华大学深圳国际研究生院的先进制造学部，在以前工作的基础上把数字全息（digital holography）拓展到机器学习（machinelearning）领域，特别是对 U 型网络（U-net）的改进和应用。在上述研究领域以第一作者发表高水平论文 5 篇，以第二作者发表的高水平论文2 篇。

曲晓峰，香港理工大学博士，现任清华大学深圳研究生院博士后，主要研究生物特征识别、机器视觉、模式识别，与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。

危昔均，香港理工大学康复治疗科学系博士，南方医科大学深圳医院虚拟现实康复实验室负责人，主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。

单羽，昆士兰科技大学数字媒体研究中心（澳大利亚）博士，研究方向为虚拟现实娱乐产业与亚洲创意经济，曾参加多场虚拟现实产业的国际学术会议并发表主题演讲，发表多篇以“虚拟现实艺术”相关的学术论文，并参与国内多个虚拟现实娱乐产业领域的项目研究。

刘超，新加坡南洋理工大学博士，是深圳市南山区领航人才，深圳市海外高层次人才孔雀计划C类, Molecular Physics 2011年度最佳年轻作者提名，主要研究方向为人工智能预测过渡金属氢化物金属氢键键长与解离能和环式加成反应中量子力学/分子力学反应机理研究，曾参与过流程模拟软件的开发与研究。

张婷，美国西北大学博士后，香港大学博士，海外高层次人才孔雀计划C类，主要从事VR/MR关键技术研发应用和复杂服务系统优化等研究，发表全息专利5项。获全国＂挑战杯＂创业计划大赛 湖北省一等奖，华中科技大学一等奖。

姚卫，湖南大学计算机科学与技术工学博士，主要研究方向：忆阻神经网络及其动力学行为，应用于：图像处理、安全通信。基于VDCCTA具有长时记忆特性的忆阻器电路及其构成的神经网络。参与设计基于忆阻器的神经网络系统模型。基于忆阻器的仿生物神经元和突触连接的微电子电路设计，参与基于忆阻器的神经网络系统模型的设计与动力学行为的分析。

彭华军，博士，毕业于香港科技大学显示技术研究中心（CDR），从事硅基液晶器件、AMOLED材料与器件、TFT器件、显示光学等研发工作。彭博士一直从事信息显示领域前沿工作，涵盖电视图像色彩管理、AMOLED生产制造、微显示芯片设计与制造、投影与近眼显示光学等。彭博士在国际刊物上发表20篇文章。已申请近50项中国发明和美国发明专利，其中10项美国专利和20项中国发明专利获得授权。

陈能军，中国人民大学经济学博士、上海交通大学应用经济学博士后，广东省金融创新研究会副秘书长、广东省国际服务贸易学会理事。主要从事文化科技和产业经济的研究，近年来在版权产业领域研究方面有较好的建树。近年来先后主持、主研“5G时代的数字创意产业：全球价值链重构和中国路径”“深圳加快人工智能产业发展研究”“贸易强国视角下中国版权贸易发展战略研究”，“文化科技融合研究：基于版权交易与金融支持的双重视角”等省部级课题多项，并在《商业研究》《中国流通经济》《中国文化产业评论》等核心期刊发表论文多篇。

潘剑飞，香港理工大学博士学位，现为广东省高校“千百十工程”人才，深圳市海外高层次人才，深圳市高层次人才、深圳大学优秀学者。研究领域主要为自动化+VR 应用、先进数字化制造、 数字制造全息孪生工厂、机器人等。主持多项国家自然科学基金项目、广东省科技计划项目和广东省自然科学基金项目。

杜玙璠，北京交通大学光学工程博士，取得与显示产品相关专利20余项，发表期刊文章3篇，曾打造全球最高分辨率的8K*4K 的VR产品，并提出了采用光场显示技术，解决VR辐辏冲突问题；推出首款国产化率100%的单目AR眼镜，第一次联合提出基于未来空间信息的非接触式交互的操作系统概念（System On Display），在运营商体系进行虚拟现实数字产业合作。

伍朝志，深圳大学光机电工程与应用专业博士，研究方向主要为精密/微细电解加工，发表过多篇期刊论文和会议论文，获得三项相关专利，曾参与国家重点研发计划 、国家自然科学基金重大研究计划重点项目等。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。