天机登Nature封面！清华施路平团队发布全球首款异构融合类脑芯片

​

【新智元导读】好消息！清华大学开发出全球首款异构融合类脑芯片，登上了最新一期 Nature 封面！研究团队还展示了由该芯片驱动的 “无人驾驶自行车” ，这项研究由清华大学类脑计算研究中心施路平教授带队，历时 7 年，终于修成正果！

清华大学开发出全球首款异构融合类脑计算芯片——“天机芯”，由该芯片驱动的的“无人驾驶自行车”登上了最新一期Nature封面！

这项研究由依托精密仪器系的清华大学类脑计算研究中心施路平教授团队进行，演示了一辆由新型人工智能芯片驱动的自动驾驶自行车。

基于此研究成果的论文“面向人工通用智能的异构天机芯片架构”（Towards artificial general intelligence with hybrid Tianjic chip architecture）作为封面文章登上了8月1日《自然》（Nature），实现了中国在芯片和人工智能两大领域《自然》论文零的突破。

天机芯片5x5阵列扩展板

现阶段，发展人工通用智能的方法主要有两种：一种是以神经科学为基础，尽量模拟人类大脑；另一种是以计算机科学为导向，让计算机运行机器学习算法。二者各有优缺点，目前将两者融合被公认为最佳解决方案之一。发展一个二者融合的计算平台将是推动融合的一个关键。新型芯片融合了两条技术路线，这种融合技术有望提升各个系统的能力，推动人工通用智能的研究和发展。

这种混合芯片被命名为“天机芯”(Tianjic)，有多个高度可重构的功能性核，可以同时支持机器学习算法和现有类脑计算算法。

研究人员用一个自动行驶自行车系统验证了这一混合芯片的处理能力。

这是一个异构可扩展人工通用智能开发演示平台，利用一块天机芯片，展示了自行车的自平衡、动态感知、目标探测、跟踪、自动避障、过障、语音理解、自主决策等功能。

试验中，无人自行车不仅可以识别语音指令、实现自平衡控制，还能对前方行人进行探测和跟踪，并自动避障。

S型路线跟踪

语音控制“左转”

语音控制“直行和加速”

自主避障

施路平教授表示，这只是非常初步的一个研究，但这项研究或能为面向人工通用智能计算平台的进一步发展起到促进作用。

接下来，新智元带来对这一突破性研究的详细解读，以及对施路平团队的采访。

“天机芯”：支持计算机科学和类脑计算融合的AGI之路

一般认为，实现通用人工智能（AGI）有两条路：分别为计算机科学导向和神经科学导向。由于这两条路的思路、理念和实现方案存在根本差异，分别依赖于不同开发平台，彼此互不兼容，这给AGI技术的开发造成很大阻碍。目前迫切需要一个同时支持两种方法的通用平台。

施路平团队开发的“天机芯”(Tianjic芯片)就做到了这一点，可以为AGI技术提供一个混合协同的开发平台。

Tianjic芯片和测试板

Tianjic芯片采用众核架构、可重构功能核模块和混合编码方案的类数据流控制模式，不仅可以适应基于计算机科学的机器学习算法，还可以轻松实现受大脑原理启发的神经计算模型和多种编码方案。

天机异构融合类脑计算架构

仅用一个芯片，就可以在无人驾驶自行车系统中同时处理多种算法和模型，实现实时目标检测、跟踪、语音控制、避障和平衡控制。这一研究预计可以为通用性更高的硬件平台发展开拓新的道路，促进AGI技术的开发。

鉴于目前机器学习和神经科学的进步，AGI系统至少应具有以下特征：

• 能够支持在神经网络中进行丰富的空间、时间和时空关系的表达。
• 支持分层、多粒度和多域网络拓扑架构，不限于某一专门的网络结构。
• 支持各种模型，算法和编码方案。
• 支持多个专用神经网络的交织合作，这些神经网络可能是为并行处理不同任务而设计的。

这些特征需要在一个通用化的平台中高效地运行，即能够在统一框架中实现对主流的人工神经网络（ANN）以及受神经科学启发的模型和算法的支持。

图1：实现AGI开发的混合路线

为了支持这些功能，团队开发了一种跨范式计算平台，可以适应面向计算机科学和神经科学的神经网络（图1），兼容各种神经模型和算法，尤其是基于生物学的（如脉冲神经网络，即SNN）要素。

通常，ANN和SNN在信息表示、计算原理和记忆组织方面具有不同的建模方式（如图2a所示）。二者最大的差异是，ANN以精确的多位值来处理信息，而SNN使用二进制脉冲序列。ANN神经元和SNN神经元之间的实现比较如图2b所示。

另一方面，ANN和SNN神经元之间也存在一些相似之处，这就为模型间的融合留下了空间。通过对ANN和SNN的神经网络模型进行详细比较，将计算模型解析并对应到相关的神经元功能模块上 - 即轴突、突触、树突和胞体，从而构建一个跨范式的统一神经元方案（如图2c所示）。团队设计了同时适用两种方案的突触和树突，而轴突和体细胞通过独立重构来改变功能。

图2 Tianjic芯片设计示意图

图2d是一个完整的单功能核（FCore）示意图，包括轴突、突触、树突、胞体和路由部分。为了实现深度融合，几乎整个FCore都可以重新配置，以便在不同模式下实现高利用率。FCore能够涵盖大多数ANN和SNN使用的线性积分和非线性变换操作。该芯片上的FCores以二维2D网格方式排列，如图2e和2f所示。

Tianjic芯片和其后端布局图如图3a所示。芯片由156个FCore组成，包含大约40000个神经元和1000万个突触。Tianjic芯片采用28纳米半导体工艺制造，面积为3.8×3.8平方毫米。每个独立模块占用的芯片面积，包括轴突，电流，信号，路由器，控制器和其他芯片开销，如图3b所示。由于资源可以重复使用，用以兼容SNN和ANN模式的区域仅占总面积的3%左右。FCore的功耗分解如图3c所示。

图3 芯片评估和建模摘要示意图

Tianjic能够支持多种神经网络模型，包括基于神经科学的网络（如SNN，以及基于生物学启发的神经网络）和基于计算机科学的网络（如MLP，CNN和RNN等）。图3d所示为在Tianjic芯片上测试不同网络模型与通用处理单元的测试结果

如图3e所示，具有树突中继的混合神经网络可突破传统神经形态芯片Fan in/fan out的限制，避免SNN网络的精度损失（+11.5％）。采用这种混合模式增加的额外开销小到可以忽略不计，因为Tianjic可以自然地在FCore中实现异构转换。使用Tianjic还可以探索更具生物学意义的认知模型（如图3f所示）。

语音控制，自动避障，这辆无人自行车很秀

为了证明构建类脑跨范式智能系统的可行性，团队利用无人驾驶自行车发展了一个异构可扩展人工通用智能开发展示平台，在一块Tianjic芯片内并行部署并同时运行多个专用网络。

实验中的自行车配备了多种算法和模型，能够执行实时物体检测、跟踪，语音命令识别、加速、减速、躲避障碍、控制平衡和决策等任务（图4a）。

自动行驶自行车演示平台

要实现这些任务，需要克服三个主要挑战：

首先，在室外自然环境中成功检测并平滑跟踪移动目标、跨越减速带，并在必要时自动避开障碍物。

第二，需实时响应平衡控制、语音命令和视觉感知产生实时电机控制信号，以保持自行车在正确的方向上运动。

第三，实现多种信息的集成处理和快速决策。

图4：基于Tianjic芯片多模型整合平台的无人驾驶自行车各项测试结果

为了完成这些任务，团队开发了几个神经网络，包括用于图像处理和物体检测的CNN，用于人类目标跟踪的CANN，用于语音命令识别的SNN，用于姿态平衡和方向控制的MLP，还有用于决策控制的混合网络。

由于芯片的分散式架构和任意路由拓扑，Tianjic芯片平台可以实现所有神经网络模型的并行化运行，并实现多个模型之间的无缝通信，使自行车能够顺利完成这些任务。图4c显示响应不同语音命令的输出信号。

图4d显示自行车在跟踪、避障和和“S形”曲线行进时的输出控制信号。图4e为基于物理量度的不同速度下的车辆姿态和转向控制的学习情况。

Tianjic芯片可以同时支持基于计算机科学的机器学习算法和基于神经科学的生物学模型，可以自由地集成各种神经网络和混合编码方案，实现多网络之间的无缝通信，包括SNN和ANN。

总而言之，本文介绍了一种新颖的类脑计算的芯片架构，通过将交叉范式模型和算法集成到一个平台上来实现灵活性和扩展性。希望这一研究成果能够加速AGI的发展，推动新的实际应用的发展。

7年磨炼“天机芯”，自行车是一个五脏俱全的类脑计算平台

对于这项研究中大家比较关心的几个问题，清华大学精密仪器系教授施路平、清华大学精密仪器系副研究员裴京、加州大学圣塔芭芭拉分校博士后邓磊代表研究团队接受了媒体的采访。

问：研究中遇到的最大的挑战是什么？

施路平：我们是从2012年就开始孕育这项研究，遇到了很多的挑战，但是我们认为，最大挑战不来自于科学、也不来自技术，而是在于学科的分布不利于我们解决这样的一个问题，所以我们认为多学科深度融合是解决这个问题的关键。所以在这项研究当中，我们组成了一个多学科融合的团队，由七个院系组成了一个类脑计算研究中心，覆盖脑科学、计算机、微电子、电子、精仪、自动化、材料等。在这里，特别感谢清华大学校各位领导对跨学科建设的大力支持，这是本项目取得成功的关键。

邓磊：在芯片方面，遇到的最大挑战是如何实现深度和高效的融合。我强调两点：

第一，是深度和高效。目前比较火的神经网络模型有两类，一类是从计算机科学来的，一类是从脑科学来的。这两种模型的语言有很大不同，它们有不一样的计算原理，有不一样的信号编码方式，也有不一样的应用场景，所以它们所需要的计算架构和存储架构是非常不一样的，哪怕设计的优化目标都是很不一样的，这一点可以从目前我们能看到的一些深度学习加速器，还有一些神经形态芯片，它们基本上设计体系都是独立的。因此可以看出，深度融合并不简单，并不是说设计一个深度学习加速模块、再设计一个神经形态模块、再把它们拼到一起就可以了，这样是行不通的，我们很难确定每部分的比例是多少，因为现实中的应用是复杂多变的，这不是高效的。

第二，如果构建一个异构的混合模型，可能还需要在两个模块之间有专门的信号转换单元，这又会有很多额外的成本，所以，如何设计一套芯片架构来兼容这两类模型，而且又可以灵活的配置和具有高性能，这也是我们芯片设计中的挑战。

问：为什么选择无人自行车作为一个切入点？

施路平：自行车是为我们芯片服务的。当时我们经过了反复的深入讨论，确定要开发一款什么样的应用平台来展示我们这样一个异构融合新的功能，这是一件不容易的事情。我们有四点考量：

第一，我们希望这是一个有点类似大脑的一个多模态系统，而不是像现在AI的一些做算法，只做单一应用。我们希望这是一个覆盖感知决策和执行的完整的链路，这样才能够给我们异构融合的多种模型提供支撑，所以这是与单一模型不同的。

第二，我们希望这个也是能够与真实环境交互的，而不是说在机房里面做一下实验或者在电脑里做一套仿真。我们希望它能够是一个真实环境交互。

第三，我们希望这个系统它最好是对我们的处理芯片是有功耗和实时性要求的，这样才能够体现我们专用芯片的优势。

第四，是因为我们要通过做反复的实验，我们希望这个系统是可控的、可扩展的。

通过考量上述几点，我们最终选择了无人自行车平台，让它有语音识别的功能、有目标探测追踪的功能，可以运动控制、避障、自主决策。所以它看起来虽然很小，但实际上是一个五脏俱全的小型的类脑计算平台。

问：类脑可以超越人脑吗？

施路平：大家对于类脑技术能否超越人脑这方面很感兴趣。实际上这就和大家始终在问电脑如何来超越人脑一样。

电脑早就超越了人脑，只是说在哪些方面。我们大家现在认为天才所具有的那些我们叹为观止的能力，其实现在的电脑是很容易来实现的，比如说记得快、记得准、算得快、算得准等等，在这些方面，对于计算机来讲都是小儿科。

但是目前在很多智能的层次，特别是对于不确定性的问题，对于比如说学习、自主决策等很多领域，计算机和人脑还是有相当大的距离。

计算机会逐渐的缩小差距，至于最后能否全面的超过人脑，我个人觉得从技术的层面会越来越多，因为计算机的发展有一个特点，就是它从不退步，它一直往前走。但是我相信我们人是有智慧的，我们会在发展的过程当中来逐渐的完善我们对于研究领域的一个理解，来把控它的风险，因为我相信人们之所以对这个问题重视，是因为我们担心会不会像科幻电影说的那样毁灭人类。

实际上，能毁灭人类的东西我们早就已经造出来了，就是核武器，但是为什么现在它没有毁灭人类？是因为我们掌握它、我们可以控制它。像类脑计算、强人工智能、人工通用智能这些东西，我们相信人类可以很好地利用我们的智慧来规范它的发展的路径，来让它造福于我们人类，最大限度的避免那些风险。

本文合作单位包括北京灵汐科技有限公司、北京师范大学、新加坡科技与设计大学和美国加州大学圣芭芭拉分校。

论文地址：

https://www.nature.com/articles/s41586-019-1424-8