芯东西(公众号:aichip001)
作者 | 心缘
编辑 | 漠影
芯东西11月25日报道,今日,银牛微电子推出基于Inuitive NU4000芯片的银牛3D机器视觉模组C158,针对中国市场需求优化设计,主要面向机器人行业。
NU4000芯片高度集成了3D深度感知、SLAM及AI功能,模拟“人脑+人眼”,提供实时3D感知、计算到系统一体化的解决方案。
▲银牛微电子3D机器视觉模组C158
银牛微电子于2020年8月成立,同年11月完成对以色列3D视觉芯片设计领军企业Inuitive的收购,是一家专注3D和AI芯片、模组及产品设计的高新科技企业。
会后,银牛微电子董事长兼CEO曲冠诚、银牛微电子联合创始人兼市场销售VP何火高、银牛微电子联合创始人兼首席战略官白逸接受芯东西等媒体的采访。
此前Inuitive已量产两代芯片,今后每年都会推出至少一款新的芯片。曲冠诚透露称,后续银牛微电子将根据机器人细分市场情况,持续推出新产品,同时在自动驾驶、元宇宙、3D交互、医疗、金融支付等领域持续推出不同的芯片、模组和产品。
一、多功能一体化设计,超低功耗与成本
银牛微电子的核心技术包括深度感知技术、SLAM(实时定位与建图)、异步时间扭曲(ATW)等,将异步时间扭曲功能以硬件实现的方式大幅降低延迟,从动作到画面的反应延迟小于1ms。
银牛3D机器视觉模组C158基于Inuitive NU4000芯片设计,可提供从实时3D感知、计算到系统一体化的解决方案。其具体特性如下:
1、全球前沿的芯片上3D深度感知引擎:深度分辨率可达1280×800@60fps,感知距离0.3m-6m,深度感知精度误差仅为1%,支持120fps的2路摄像头及6自由度坐标的重定位,极大提升3D深度性能。
2、实时高精度姿态跟踪:双鱼眼、视场角166.5°、板载6轴、高达100fps频率,能实现实时高精度姿态跟踪。
3、高度集成:在125mm x 40mm x 27mm的体积内,集成了3D深度、SLAM实时定位建图引擎及AI于一体,单芯片即可实现多颗芯片功能,AI峰值算力可达2TOPS。
4、超低功耗:0.5W即可实现5-6TOPS算力,满足设备端功耗要求,模组功耗低至1.4W。产品内置通用型Arm核,支持系统的独立性,使系统可同时兼顾协处理器和主控系统,为设计提供极大的灵活性。
5、3D性能、成本、功耗的优化组合:已与全球3D应用龙头企业合作,大量推广3D视觉双目方案。
此外,C158还搭载了丰富接口和系统支持,使得无论模组还是外设均可实现USB即插即用的效果。
▲银牛微电子3D机器视觉模组C158
在采访环节,银牛微电子联合创始人兼市场销售VP何火高提到目前3D机器视觉主要有结构光、双目立体、ToF三个技术方向,客户会根据各自应用场景来采用最理想的解决方案。
白逸表示,尽管三种技术方案各有千秋,双目3D技术在高精度、高分辨率、和高帧率的三维感知方面有独特的内在优势。而随着3D机器视觉产业和生态的快速发展,高精度、高分辨率、和高帧率必将成为刚需。以发展的眼光看,双目3D感知技术和以双目为主的融合3D感知技术方案必将成为主流。
目前银牛微电子更关注双目立体。双目立体是模拟人的眼睛,人的眼睛是对世界感知效果最好的。银牛的芯片将双目立体与AI结合,相当于大脑和眼睛连在一起,让机器在感知、理解、执行任务上形成闭环。
双目立体和结构光都是应用三角测距物理原理,其中双目立体不仅是多了一个摄像头,它依靠自然红外反射,在摄像头上产生特征点,计算对象物深度数据,结构光则一定需要发射光的发射源,而带编码的光经常会受到环境干扰,双目立体相对不易受到干扰。
”如果把3D机器视觉看作演出,结构光和ToF只是暖场的,真正的演出会由双目主导。”银牛微电子联合创始人兼首席战略官白逸相信,最终解决方案会是融合的方案,融合也是有主有辅,双目会占据最主要的角色。
“我们的芯片支持结构光,也可以支持ToF,目前我们相信双目是更有生命力的技术,目前有限资源没有投入结构光、ToF解决方案的开发。”
白逸还透露说,下一代NU5000芯片将引入AI算法进一步优化3D深度感知引擎。
二、Inuitive是谁?38年半导体老将创立,明星以色列芯片公司
以色列3D视觉和AI芯片公司Inuitive成立于2012年,是全球第一家在芯片内实现3D支持双目功能的公司,也是第一家在芯片中同时实现3D引擎+SLAM+AI功能的芯片设计公司。
Inuitive在计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等领域积累了丰富的经验。苹果、亚马逊、三星、软银等国际公司均曾应用Inuitive IP。
其创始人兼CEO Shlomo Gadot是以色列芯片领域领军人物,拥有38年半导体设计经验,在20世纪80年代曾为美国贝尔实验室科学家,带领团队成功研发了ADSL/HDSL,并曾创立多家成功的芯片设计企业。
Inuitive联合创始人兼CEO Dor Zepeniuk是光学设计、无线芯片、片上系统SoC、单元计算等多领域专家,曾是原PrimeSense研发负责人,PrimeSense后被苹果公司收购。
此前Inuitive的芯片及模组已被应用于智能机器人、XR/3D交互、3D扫描、高端无人机等多个前沿3D视觉应用领域的龙头企业产品中。
▲Inuitive NU4000芯片
银牛微电子虽为初创,成立4天半后就与Inuitive签并购协议,成立仅3个月就完成对Inuitive收购协议的工商变更,实现中国公司绝对控股。
从Inuitive到银牛微电子,其目标是向3D视觉应用市场提供全球领先的底层技术,构建AI进入3D机器视觉时代后的异构计算平台以及平台之上的生态系统。
银牛微电子董事长兼CEO曲冠诚毕业于北京大学,获软件工程硕士学位,是中国注册会计师,拥有14余年的资本运作经验,先后供职于中国航天科技集团、中信证券、中国国有资本风险投资基金和凯桥基金。
银牛微电子联合创始人兼市场销售VP何火高本科毕业于哈尔滨工业大学,并在新加坡国立大学获得管理学硕士,在加入银牛以前曾是Intel Realsense中国区负责人。他拥有超过20年半导体行业市场开发、客户拓展、客户支持、产品研发及团队管理的经验;曾先后供职于英特尔中国、AMD新加坡、上海有线电厂和上海电子通讯设备研究所。
三、中以团队合作,明年确定三大落地方向
创立至今,银牛微电子已经建立研发、生产、销售、市场、商务拓展、客户支持的完整团队。
据白逸分享,在收购Inuitive后,银牛重点做了三方面的工作:1)维护稳定以色列核心管理层和研发团队,对运营进行规范治理,维系团队凝聚力,收购后员工流失率极低,核心员工完全没有流失,两地团队都有扩建规划;2)梳理产品研发路线图,聚焦技术本身,包括未来三年芯片路线图,并对国内外重点市场及头部客户进行梳理;3)着重建立银牛在中国的团队,从核心管理层到各个部门。
Inuitive NU4000芯片采用12nm工艺,正在稳定量产中,后续银牛的芯片工艺会前进到7nm、5nm,中国团队也将逐渐参与、加大在其中研发任务的比重,最终会是技术know-how、人才库综合考虑,以色列团队会持续推进在先进3D感知算法、复杂SoC架构及NPU的导入等方面的研发工作,同时很多工作在中国已经可以做。
曲冠诚谈道,目前以色列团队与中国团队相互合作,中国团队核心技术团队来自高通、英伟达、新思、Cadence等核心人员。在落地方面,不同客户有不同设计,对双目距离的要求存在差异,因此设计需要快速、准确、切合中国市场需求,并结合本地产业链、供应链的管理。
此次发布的C158模组贴合中国本土化应用,为确保及时响应客户需求,专门面向中国市场调优,并将根据中国客户需求实时调动以色列资源,从而为中国客户提供高效、优质的本地化支持及多样化选择。
何火高说,3D深度感知技术的研发门槛很高,要做出成熟产品需要长期打磨,如果客户买了芯片但用不起来,则没有意义,一定是买模组验证产品的市场可接受性,然后再投入更大资源做进一步开发。
银牛在2022年已确定的具体落地目标有辅助驾驶、机器人、AR/VR,产品已经就绪,正在调优;明年还将有日本自动驾驶案例。据曲冠诚透露,银牛计划明年快速启动一轮融资。
结语:3D机器视觉风口起,银牛借并购强势入局
随着人工智能、机器人、物联网等产业的兴起,机器视觉正从2D快速走向3D,成为赋予机器人、自动驾驶汽车、AIoT等产品三维感知能力的关键技术。
而收购Inuitive的银牛微电子,直接拥有了Inuitive积累近十年的3D深度视觉技术经验,并结合AI与SLAM技术,赋予机器大脑与眼睛联动的能力,结合其中国团队的快速组建以及对中国市场和客户需求的了解,银牛将是国内3D视觉芯片领域不容小觑的重要玩家。