微美全息科学院：基于虚拟现实的机器人工作状态智能监测系统

摘要：机器人工作状态精准监测可提升机器人自由作业能力，设计了基于虚拟现实的机器人工作状态智能监测系统。通过现场监控模块采集机器人及其工作环境信息，将所采集信息利用通信网络传输至远程终端监控模块，远程终端监控模块利用模板匹配算法定位场景内元素建立三维虚拟场景模型，利用3Dmax软件渲染、烘焙所建立模型，将模型导入VRP软件中，利用VRP软件的SDK二次开发包实现人机交互，智能监测单元采集所建立三维虚拟场景模型内图像并实施预处理，提取完成预处理图像纹理特征，将所提取特征输入支持向量机实现机器人工作状态智能监测。

系统测试结果表明，该系统可利用建立机器人及其工作环境场景三维虚拟环境模型实现机器人工作状态智能监测，监测精度高达99%。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们就虚拟现实的机器人工作状态智能监测系统技术展开深入研究。

1、引言

机器人是将计算机、电子、控制理论、传感器技术、人工智能以及机械等众多学科交叉的技术。机器人的诞生体现了生产系统以及机器进化的发展方向[1]。机器人技术已成为目前发展迅速、应用极为广泛的高科技技术之一。机器人目前广泛应用于教育、航空、工业等众多领域中，人们对机器人要求逐渐提升[2]。机器人的自主决策能力是其智能化的研究重点，智能化机器人可帮助人类完成无法实现的极限以及危险任务，机器人工作状态实时监测极为重要[3]。

机器人监测信息中包含大量实时数据，监测信息具有数据量大以及数据复杂的特点，为监测人员获取机器人工作状态带来一定难度[4]。将虚拟现实技术应用于机器人工作状态监测中，利用逼真的三维立体画面展示机器人工作状态动态信息，实现机器人工作状态实时监测，提升机器人远程智能监测效果，降低机器人工作状态监测人员工作量。

虚拟现实技术是将真实世界场景利用计算机建立三维虚拟世界，通过计算机模拟人类听觉、视觉、触觉等感官感受[5]，令使用者具备身临其境的感觉。虚拟现实技术将多媒体技术、人机交互技术、仿真技术等众多实时技术结合[6]，为仿真系统以及人机交互开辟新研究领域。

近年来针对智能机器人研究众多，付彪等人设计与开发基于智能机器人平台的家庭健康监测系统[7]，将智能机器人应用于家庭健康监测中，具有较高的应用性；焦文渊基于交互式视音频技术研究智能采摘机器人自动化系统[8]，利用交互式音频与视频控制智能采摘机器人，完成机器人采摘工作。研究的基于虚拟现实的机器人工作状态智能监测系统，将虚拟现实技术应用于机器人工作状态智能监测中，利用所建立机器人工作环境三维虚拟模型智能监测机器人工作状态，避免机器人工作过程中由于噪声、环境等干扰造成监测精度低的缺陷，利用机器人工作状态智能监测结果实现机器人控制，提升机器人工作应用性。

2、虚拟现实的机器人工作状态智能监测系统

2.1 系统总体结构

所研究基于虚拟现实的机器人工作状态智能监测系统总体结构图如图1所示。

图1系统总体结构图

图1系统总体结构图可以看出，系统可实时采集机器人及其工作环境信息，监测人员可利用虚拟显示界面访问虚拟场景机器人，实现机器人工作状态智能监测与控制。系统主要包括现场监控模块、数据传输以及远程监控终端模块三部分。利用现场监控模块采集机器人及其工作环境图像。利用通信网络传输机器人及其工作环境与现场监控模块以及远程监控终端模块信息[9]，实现机器人工作现场图像与信息传输。远程监控终端模块通过建立三维虚拟场景实现机器人与操作者交互，利用交互界面精准、实时获取机器人及其工作环境信息，采集机器人及其工作环境信息图像通过机器学习算法中的支持向量机实现机器人工作状态判别，获取机器人工作状态智能监测结果，监测者依据机器人工作状态监测结果下达控制命令。

系统选取智能机器人作为控制对象，选取主控计算机作为机器人主要结构[10]，机器人利用 CAN总线处理电路工程。机器人为 6 自由度机器人，利用肩摆、肩转、肘摆、肘转、腕转、腕摆以及手爪开合完成全部工作动作，机器人具备语音交互、双目视觉等人工智能技术。

2.2 虚拟场景建模

利用模板匹配算法定位机器人以及工作环境各项元素建立三维虚拟场景模型，将所建立模型导入3Dmax软件中渲染、烘焙，完成处理的模型导入VRP软件中实现三维场景交互设计[11]，通过VC++开发平台的Microsoft Visual Studio 2008编程语言利用VRP软件的SDK二次开发包实现人机交互扩展。

建立三维虚拟场景模型是虚拟现实的机器人工作状态智能监测系统基础与核心部分。机器人及其工作环境三维虚拟场景模型的图像效果影响机器人工作状态智能监测界面交互性以及真实感。3Dmax软件具有较强的外观处理性能，VRP软件具有画质真实以及支持第三方软件模型导入的优势，选取BRP软件与3Dmax软件结合开发虚拟场景，开发流程图如图2所示。

图2虚拟场景开发流程图

采用3Dmax软件建立模型时，需充分精简以及优化模型，赋予三维模型材质，对所建立模型实施烘焙以及渲染处理，令所建立模型可呈现虚拟场景阴影以及光照效果[12]，完成处理的机器人及其工作环境三维虚拟场景模型导入VRP软件，VRP软件实现场景实时漫游，利用VC++开发平台交互底层数据以及虚拟现实场景，动态显示虚拟模型。

2.2.1 虚拟场景元素定位

建立机器人工作场景模型库，其中包含工作场景内不同元素的三维模型信息，将模型存储在数据库内。利用完成建立的模型库，依据模板匹配算法实现工作场景元素定位。将模板视为已知图像，在场景内利用模板匹配算法查找与模板存在相同方向、尺寸特征的目标，确定模板具体位置信息[13]。设包含W×H个像素的搜寻图用S表示，包含m×n个像素的模板用T表示。将模板在搜寻图内移动，子图Sij即为被模板遮住区域，搜寻图S内左上方子图的坐标为（i，j），通过相似性对比T与Sij完成模板匹配。利用模板匹配算法作为子图Sij与模板匹配度测量标准，其计算公式如下：

(1)式中，S与T分别表示被搜索图像函数以及模板图像函数；i，m与j，n分别表示图像横坐标变量与纵坐标变量；T（m，n）与D（i，j），分别表示模板图像在（m，n）处灰度值以及图像S在坐标（i，j）处与模板T的相似度。

利用模板匹配算法搜寻双目相机左目以及右目投影图像内相同场景内差异投影点，获取图像位差，利用相机内参以及位差数据获取机器人工作场景三维空间场景点与相机距离，获取三维虚拟场景点云信息。结合不同元素在图像区域，获取机器人工作场景不同元素尺度信息以及三维位置，将各元素实时信息发送至计算机实现机器人场景不同元素实时同步。

2.2.2 虚拟场景交互

利用VRP-SDK二次开发接口实现虚拟场景交互，SDK函数库可设置软件运行逻辑，VRP窗口相应通过外部空间设置，将VRP三维场景与VRP脚本利用SDK程序主体调用实现交互控制。系统将VRP三维显示窗口利用 VRP-SDK 嵌入至系统内，三维模型属性控制利用SDK内函数实现。SDK可通过事件回调函数实现各项操作[14]。所建立的三维虚拟场景交互流程图如图3所示。机器人与状态信息由上位机软件扫描并利用无线通信网络上传，获取机器人状态信息后，调用VRP虚拟场景，将其运动位置传送至上位机，利用SDK程序调用移动相机脚本，实现虚拟场景人机交互。

图3虚拟场景交互流程图

2.3 机器人工作状态智能监测算法

系统的智能监测单元采集三维虚拟场景内机器人工作状态图像，将采集图像实施去噪、二值化等预处理，提取完成预处理图像的纹理特征。将所提取特征输入支持向量机分类器中，实现机器人工作状态智能监测，可实现实时运行。分类结果为机器人工作状态出现异常情况时，实时发出警告信息[15]，便于监测人员针对机器人工作状态快速决策。

支持向量机利用线性映射将样本向量映射至高维特征空间，实现样本精准分类。设存在训练样本集用X={(xi，yi)}表示，其中xi∈Rn，xi与yi分别表示N维欧式空间内向量以及类别标识。设样本训练集内存在两个类别，利用分类超平面完全分开样本训练集内样本。

支持向量机内分类超平面H公式如下：

(2)其中w与b分别表示法向量以及向量内积。若需获取最优分类超平面，建立方程如下：

(3)其中，||w||表示向量范数。

构造拉格朗日函数如下：

(4)式中，ai≥0，i=1,2，....，n，ai表示拉格朗日因子。ai解内仅存在少量非零解，当ai不等于0时，相应样本向量为支持向量。

利用函数L(w，a，b)，对w与b求偏微分，依据KKT条件，获取最优权值向量w*以及最优偏移值b*公式如下：

ai可得最优分类函数公式如下：

式中，w*与b*分别表示支持向量以及分类阈值。引入核函数K（x，xi）可实现机器人工作状态智能监测问题的非线性变换，常用的核函数有多项式核函数、径向基核函数以及Sigmoid函数，将核函数应用于支持向量机时，需依据实际应用选取最优核函数。

3、系统性能的测试与分析

选取六自由度采摘机器人作为实验对象，该机器人作业环境为室外，室外环境变化较大，容易受到光照、噪声等复杂环境影响，提升机器人工作状态监测难度。采用本文系统建立机器人及其工作环境三维虚拟场景，实时渲染不同尺度大小的三维场景图像，通过图像纹理操作等待时间以及纹理增加等待时间两部分评价本文系统渲染效果，统计结果如图4所示。

（a）纹理操作等待时间

（b）纹理增加等待时间

图 4 图像渲染效果

图4结果可以看出，本文系统可通过较少的等待时间实现三维场景实时渲染，降低三维虚拟场景建设成本。本文系统可在三维虚拟场景图像纹理渲染维持稳定速度，三维场景画面大小有所变化情况下，仍保持优越的渲染效果。本文系统通过虚拟现实技术建立机器人及其工作场景模型具有较强的渲染效果，可为机器人工作状态智能监测提供良好基础。

本文系统采用支持向量机作为智能监测机器人工作状态方法，支持向量机的核函数选取对于机器人工作状态监测结果精准性极为重要，可有效提升机器人工作状态监测性能。统计支持向量机在不同训练步数情况下，采用三种核函数输出误差以及输出时间，统计结果如图5所示。图5实验结果可以看出，采用三种核函数时，支持向量机的输出误差以及输出时间均随着训练步数的提升而有所下降；支持向量机核函数为径向基核函数时，不同训练步数情况下的输出误差与输出时间均为最低，说明核函数为径向基核函数时，支持向量机可获取精准分类效果，此时机器人工作状态监测效果最佳。

(a) 输出误差

(b)输出时间

图5不同核函数情况下的输出结果

选取径向基核函数作为本文系统所采用支持向量机的核函数，统计采用本文系统在机器人工作30min内，智能监测机器人工作状态结果如图6所示。图6实验结果可以看出，采用本文系统监测机器人工作状态结果与机器人实际工作状态极为接近，说明本文系统可有效监测机器人工作状态，监测人员可依据机器人工作状态监测结果做出相应决策，提升机器人工作性能。

图6机器人工作状态监测结果

统计采用本文系统800次智能监测机器人工作状态的监测精度，并将本文系统与文献[7]系统以及文献[8]系统对比，对比结果如图7所示。图7实验结果可以看出，不同监测次数情况下，本文系统监测机器人工作状态的监测精度均高于另两种系统，本文系统检测机器人工作状态的监测精度高于99%。本文系统具有收敛速度低，训练时间短，泛化能力强，监测精度高的优势。本文系统利用虚拟现实技术建立三维虚拟场景获取机器人与工作现场信息，利用所采集信息通过支持向量机实现机器人工作状态精准监测，智能监测性能较高。本文系统可实现机器人工作状态精准监测，机器人出现异常情况下快速告警，监测人员可在第一时间发现机器人工作状态异常，及时做出调整策略，节省大量人力物力，提升机器人工作的智能性以及自动化性能。

图7监测精度对比

4 、结束语

将虚拟现实技术应用于机器人工作状态智能监测中，实现机器人工作状态精准监测。利用虚拟现实技术建立机器人及其工作环境场景模型，提取机器人工作状态信息，利用支持向量机精准分类提取机器人工作状态，输出机器人最终工作状态结果，实现机器人工作状态智能监测。虚拟现实技术对外界干扰不敏感，外界严重干扰情况下仍具有较高的机器人工作状态智能监测性能，监测有效性较高。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员：

郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室 合现实技术研修班 学习混合现实，增强现实技术，参与研发多个重点项目。

江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得 ICRCA-2018 机器人 EI 国际会议"最佳论文奖"。

杨军超，重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生，华盛顿大学电子工程学院联合培养博士，长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化，以第一作者发表SCI/EI 论文 6 篇，中文核心 1 篇，申请专利 4 项。

李维娜 ，2017 年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息（compressive digital holography）的博士后工作，2018 年 11 月进入清华大学深圳国际研究生院的先进制造学部，在以前工作的基础上把数字全息（digital holography）拓展到机器学习（machinelearning）领域，特别是对 U 型网络（U-net）的改进和应用。在上述研究领域以第一作者发表高水平论文 5 篇，以第二作者发表的高水平论文2 篇。

曲晓峰，香港理工大学博士，现任清华大学深圳研究生院博士后，主要研究生物特征识别、机器视觉、模式识别，与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。

危昔均，香港理工大学康复治疗科学系博士，南方医科大学深圳医院虚拟现实康复实验室负责人，主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。

单羽，昆士兰科技大学数字媒体研究中心（澳大利亚）博士，研究方向为虚拟现实娱乐产业与亚洲创意经济，曾参加多场虚拟现实产业的国际学术会议并发表主题演讲，发表多篇以“虚拟现实艺术”相关的学术论文，并参与国内多个虚拟现实娱乐产业领域的项目研究。

刘超，新加坡南洋理工大学博士，是深圳市南山区领航人才，深圳市海外高层次人才孔雀计划C类, Molecular Physics 2011年度最佳年轻作者提名，主要研究方向为人工智能预测过渡金属氢化物金属氢键键长与解离能和环式加成反应中量子力学/分子力学反应机理研究，曾参与过流程模拟软件的开发与研究。

张婷，美国西北大学博士后，香港大学博士，海外高层次人才孔雀计划C类，主要从事VR/MR关键技术研发应用和复杂服务系统优化等研究，发表全息专利5项。获全国＂挑战杯＂创业计划大赛 湖北省一等奖，华中科技大学一等奖。

姚卫，湖南大学计算机科学与技术工学博士，主要研究方向：忆阻神经网络及其动力学行为，应用于：图像处理、安全通信。基于VDCCTA具有长时记忆特性的忆阻器电路及其构成的神经网络。参与设计基于忆阻器的神经网络系统模型。基于忆阻器的仿生物神经元和突触连接的微电子电路设计，参与基于忆阻器的神经网络系统模型的设计与动力学行为的分析。

彭华军，博士，毕业于香港科技大学显示技术研究中心（CDR），从事硅基液晶器件、AMOLED材料与器件、TFT器件、显示光学等研发工作。彭博士一直从事信息显示领域前沿工作，涵盖电视图像色彩管理、AMOLED生产制造、微显示芯片设计与制造、投影与近眼显示光学等。彭博士在国际刊物上发表20篇文章。已申请近50项中国发明和美国发明专利，其中10项美国专利和20项中国发明专利获得授权。

陈能军，中国人民大学经济学博士、上海交通大学应用经济学博士后，广东省金融创新研究会副秘书长、广东省国际服务贸易学会理事。主要从事文化科技和产业经济的研究，近年来在版权产业领域研究方面有较好的建树。近年来先后主持、主研“5G时代的数字创意产业：全球价值链重构和中国路径”“深圳加快人工智能产业发展研究”“贸易强国视角下中国版权贸易发展战略研究”，“文化科技融合研究：基于版权交易与金融支持的双重视角”等省部级课题多项，并在《商业研究》《中国流通经济》《中国文化产业评论》等核心期刊发表论文多篇。

潘剑飞，香港理工大学博士学位，现为广东省高校“千百十工程”人才，深圳市海外高层次人才，深圳市高层次人才、深圳大学优秀学者。研究领域主要为自动化+VR 应用、先进数字化制造、 数字制造全息孪生工厂、机器人等。主持多项国家自然科学基金项目、广东省科技计划项目和广东省自然科学基金项目。

杜玙璠，北京交通大学光学工程博士，取得与显示产品相关专利20余项，发表期刊文章3篇，曾打造全球最高分辨率的8K*4K 的VR产品，并提出了采用光场显示技术，解决VR辐辏冲突问题；推出首款国产化率100%的单目AR眼镜，第一次联合提出基于未来空间信息的非接触式交互的操作系统概念（System On Display），在运营商体系进行虚拟现实数字产业合作。

伍朝志，深圳大学光机电工程与应用专业博士，研究方向主要为精密/微细电解加工，发表过多篇期刊论文和会议论文，获得三项相关专利，曾参与国家重点研发计划 、国家自然科学基金重大研究计划重点项目等。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。