X

打破常规CMOS,芯仑欲用动态视觉传感器掀起自动驾驶新浪潮

传统摄像头正朝着更高帧率、更大分辨率的方向发展,多传感器融合也被行业定义为自动驾驶实现的必经之路,这带来的是越来越大的数据量。多数软件芯片公司还在寻找如何快速准确处理大量数据的最佳方式,而芯仑科技却将精力放在机器视觉的数据之源——前端摄像头。

11月28日,芯仑科技创始人兼首席科学家陈守顺教授出席合肥高新区举办2018全球物联网创新峰会,进行了关于《颠覆性的物联网感知方案——动态视觉传感器》的主题演讲。

打破常规的 CMOS 图像传感器和图像处理算法,从博士时代开始探究动态视觉传感器的陈守顺,将这项技术应用到自动驾驶创业中。2012年,陈守顺做出第一款动态视觉传感器芯片;2015年,其带领团队在新加坡成立Hillhouse Technology;两年后的夏天,团队回国,公司重新命名为上海芯仑光电科技有限公司。当初的视觉传感器芯片经过多轮产品迭代,目前已经演进至第五代CeleX-V(100万像素,车规级)。

动态视觉传感器路径上的供应商为数不多,芯仑与瑞士的Inilabs、法国的Prophesee、三星(licensed IP)属于同一队列。专注汽车行业的法国咨询公司YOLE曾将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。

CeleX™动态视觉传感器

传统摄像头提供某一时刻的平面图象,工作方式大致经过重置电荷累计、曝光、输出三个阶段。电荷量根据输入光的强度发生变化,其将捕捉到的光学信息(包括采集点的灰度和颜色)转化成数字信号,实现场景的还原。陈守顺提到传统传感器在数据获取方面依旧存在以下问题:

  • 不连续的数据获取:传统传感器并非连续曝光,采集存在间隔,摄像头仅在曝光阶段观察世界,不曝光时是不看东西的,这造成对物体的追踪存在盲区,丢失了大量物体运动信息,为后端图像处理算法带来问题;

  • 无运动的区域持续输出无效的冗余数据;

  • 快速运动场景下存在图像模糊;

  • 计算资源浪费。

芯仑采用动态视觉传感器(DVS)解决上述问题。基于新型的仿生动态图像传感器芯片技术,芯仑研发出CeleX™动态视觉传感器。陈守顺提到,CeleX传感器的每个像素都能连续的单独监测光强的波动,并在达到阈值时激发事件从而被读出。

雷锋网新智驾了解到,面对快速运动的像素点,常规传感器存在固定帧率、曝光概念,无法准确捕捉完美的运动点。如上图所示,常规传感器拍摄到的多为一段小条,且存在间断。不同于传统CMOS图像传感器,动态视觉传感器没有曝光、帧率概念,没有闲置时间,CeleX动态视觉传感器为连续三维的点云,在X、Y、T空间内对物体运动轨迹进行连续标注,包含像素点运动位置、时间信息,且时间坐标可以精确到纳秒级。

陈守顺将动态视觉传感器喻为“敌不动、我不动”,其每一个像素点可进行独立的运算,在且仅在像素点发生光强变化时进行数据输出,产生较低的数据率。即对于机器视觉而言,物体没有变化时不产生数据流传输,传感器仅对有效的像素点进行记录,从而剔除冗余数据。

由于像素点单独获取数据,并以对数方式进行光电信号的转换,不再受传统的成像参数(曝光时间、白平衡等)影响,CeleX在高动态范围方面表现更好。在特殊场景如隧道出入瞬间,传感器不受光照剧烈变化影响,可以做到场景及运动物体全部清晰,这对自动驾驶的意义很大。

鉴于动态视觉传感器中,芯片的输出数据不受帧率影响,运动频繁的点读出次数会相应增多,因此可以完整记录下打壁球等物体运动的过程。

CeleX传感器对数据进行高速采集,相当于每秒几十万帧,像素点的时间分辨率为5纳秒,动态范围超过120dB。同时具备兼容性,CeleX也能提供传统图像传感器的全副画面,可以兼容使用基于全幅图像的算法,并能在传感器芯片上进行光流运算,提供全分辨率运动矢量信息。

CeleX片上光流模式

陈守顺着重提到一点,CeleX动态视觉传感器输出类似于激光点云,包含三种输出码流方式:

图片模式:和传统图像传感器一致的全幅图像,兼容传统图像处理算法和硬件;

动态模式:通过对自然光强变化的判定输出仿生的动态特征脉冲信号(X、Y、A、T);

光流模式:芯仑独有的密集光流模式,无需降维,从芯片上得到光流向量场信息,直接输出全分辨率运动矢量信息(方向和速度),无需后期算法处理。

这也正是芯仑同其它家动态视觉技术方案解决商的一大不同之处。动态视觉传感路径上共有四家公司:瑞士的Inilabs、法国的Prophesee、三星(licensed IP)及芯仑科技。芯仑最大的优势在于具备三种输出数据格式:动态模式、图像模式及光流模式。Inilabs、Prophesee仅具备前两种输出模式。

雷锋网新智驾了解到,通过传统传感器计算光流非常消耗资源,而CeleX全幅密集光流模式能在芯片采样层级上就能实现。CeleX通过灵活利用三种数据流对算法进行优化,其算法复杂程度在很多场景下能降级上千倍。

车内驾驶员监控和驾驶辅助系统(ADAS)

芯仑将自己定义为机器视觉系统解决方案提供商,CeleX作为一种平台化技术,根据不同的应用场景和市场需求,芯仑提供芯片、技术授权或终端解决方案。面向车载领域,CeleX应用到车内驾驶员监控(DMS)和驾驶辅助系统(ADAS)两大场景。

芯仑选择从后市场切入,基于动态视觉芯片实现驾驶员监控,进行眼睛眨动及面部肌肉的变化情况识别,同样输出三种码流。芯仑目前同物流车队合作进行驾驶员监控产品测试。

芯仑ADAS产品车外ADAS相关,陈守顺提到,跟传统的摄像头技术路径相比,其传感器从感知到芯片组信号处理输出,再到控制指令输出环节速度节省几百毫秒。对于一台时速120公里/小时的行驶车辆而言,CeleX方案将节省5米制动距离。

雷锋网新智驾了解到,专注汽车行业的法国咨询公司YOLE将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。自动驾驶量产前夜,在ADAS 市场掀起小风浪的动态视觉传感器又能否助力更高级别自动驾驶呢?