南洋理工大学开发出应用于手势识别的高精度AI系统

编者按

南洋理工大学的科学家开发了一种新型人工智能（AI）系统，该系统通过将类似人类皮肤的电子设备与计算机视觉结合起来，达到高精度识别手势的目的。

传统AI手势识别系统

在过去的十年里，传统AI系统在手势识别方面的发展已颇具成果，被应用于各行各业中，例如高精度的外科手术机器人、健康监测设备和游戏系统等。

随着传感器的发展，可穿戴式传感器的应用成功改进了最初仅用于视觉的AI手势识别系统，通过可穿戴式的传感器重建皮肤的感知能力，这也正是我们常说的“体感技术”。

尽管体感技术具有非常广泛的发展前景，但是，现在也面临着以下问题。

其一：数据采集误差。传统AI手势识别的精准度会受到可穿戴式传感器的影响，有些传统可穿戴式传感器的体积大，与用户接触不稳定，从而导致传感器的数据质量低，影响系统结果。

其二：数据合并处理相应慢。传感器收集的视觉和感官数据是需要集成处理的，在集成的过程中常常因为它们的数据集不匹配，需要分别处理最后合并，从而导致效率低下且响应时间变长。

仿生AI数据融合系统

为了应对这些挑战，NTU团队创建了一个“仿生”的数据融合系统，该系统使用了一款由单壁碳纳米管制成的类似皮肤的可拉伸应变传感器，以及一种类似人类皮肤感知和视觉处理的AI算法。

NTU科学家结合了三种神经网络法来开发这种仿生AI系统，分别是“卷积神经网络”、“多层神经网络”以及“稀疏神经网络”，通过AI系统将视觉和体感信息融合在一起，从而可以更准确，更有效地识别人的手势。

研究人员展示研究成果，来源：NTU官网

该研究的主要作者，NTU材料科学与工程学院的Chen Xiaodong教授说：“我们的数据融合架构具有独特的仿生特征，是一个类似于人体体感-视觉融合的人造系统。我们相信此架构在现有方法中是独一无二的。”

可拉伸应变传感器的特性 来源：Nature Electronics

他还表示，“传统穿戴式传感器与用户之间无法形成足够紧密的接触从而无法收集到准确的数据，与传统穿戴式传感器相比，我们的创新技术使用可拉伸的应变传感器，可舒适地贴附在皮肤上。这可以实现高质量的信号采集，来完成精准的识别任务”。

新版系统具有较高识别精确度

NTU和雪梨理工大学（UTS）的科学家组成的研究小组于6月在科学期刊《自然电子》上发表了该研究成果。研究表明，即使在恶劣的环境条件下该系统也具有较高的识别精度。

为了从手势中捕获可靠的感官数据，研究团队制造了一种透明的、可拉伸的应变传感器，该传感器附着在皮肤上，但在相机图像中看不到。

附着在皮肤上的可拉伸的应变传感器，来源：NTU官网

作为理论证明，该团队使用通过手势控制的机器人测试了他们的仿生AI系统，并引导其通过了迷宫。结果表明，基于传统的手势识别系统产生的六个识别错误，由仿生AI系统提供动力的识别能够准确无误引导机器人穿越迷宫。

当新的AI系统在恶劣条件下（包括噪音和不利照明条件）进行测试时，也保持了较高的准确性。而在黑暗中有效工作，识别准确率高达96.7％。

BSV相关学习的数据集准备 来源：Nature Electronics

NTU材料科学与工程学院的Wang Ming博士（第一作者）说：“该系统的高精度背后的秘密在于，视觉和体感信息可以相互作用并相互补充。因此，系统可以合理地收集具有较少冗余数据和较少感知歧义的连贯信息，从而提高准确性。”

德国马克斯·普朗克胶体与界面研究所所长Markus Antonietti教授表达了独特的观点，他说：“该研究成果使我们向更智能的世界迈出了一步。就像智能手机的发明一样，这项工作给我们带来了希望，有朝一日，我们可以通过一个手势，精准的控制我们周围的世界。”

NTU研究团队目前立志建立一个基于AI系统的VR和AR系统，用于需要高精度识别和控制的领域，如家庭娱乐技术和家庭康复等。

参考文献：

1. "NTU Singapore scientists develop Artificial Intelligence system for high precision recognition of hand gestures" NTU Media Release;

2. “Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors” Nature Electronics.