MIT的一个研究团队现在已经设计了一种可拉伸的,类似皮肤的装备,该装备可以连接到ALS患者的面部(肌萎缩性侧索硬化症(ALS)的人控制肌肉的能力逐渐下降,他们经常失去说话的能力),并且可以测量抽搐或微笑等之类的小动作。使用这种方法,患者可以通过设备测量和解释的小动作传达各种情绪,例如“我爱你”或“我饿了”。
研究人员设计了一种类似于皮肤的设备,可以测量失去说话能力的患者的面部小动作,他们希望新设备能够使患者以更自然的方式进行交流,而不必依靠笨重的设备。可穿戴式传感器很薄,可以伪装成化妆品以匹配任何肤色,因此不显眼。
该研究团队的负责人(MIT-LG电子职业发展媒体艺术与科学方向助理教授)Canan Dagdeviren表示:“该设备不仅具有延展性,柔软性,轻便性和一次可抛性,更重要的是具有良好的视觉伪装,让人觉得皮肤上没有东西。”并且传感器设备中的所有组件都易于批量生产,因此研究人员估计每个设备的成本约为10美元
研究人员在两名ALS患者(一名女性和一名男性,以确保性别平衡)中测试了该设备的初始版本,并表明该设备可以准确地区分三种不同的面部表情:微笑,张嘴和抿嘴。
麻省理工学院的研究生法里塔·塔斯尼姆(Farita Tasnim)和该所科学家孙涛是该研究课题的主要作者,该研究发表在《自然生物医学工程》上。MIT本科生Rachel McIntosh,博士后Dana Solav,科学家张林和实验室高级经理David Sadat。文章作者还包括新加坡A * STAR微电子研究所的顾媛媛,Nikta Amiri,Mostafa Tavakkoli Anbarani和布法罗大学的M. AminKarami。
皮肤般的传感器设计:
Dagdeviren的实验室的“适形解码”研究小组,专门从事开发可粘附于身体的适形(柔性和可拉伸)电子设备,用于各种医疗应用。在2016年与斯蒂芬·霍金(StephenHawking)会面后,她对研究如何帮助神经肌肉疾病患者进行交流产生了兴趣,当时世界著名物理学家拜访了哈佛大学,而达格德维伦(Dagdeviren)是哈佛研究员协会的初级研究员。
霍金于2018年去世,患有一种进展缓慢的ALS。他能够使用红外线传感器进行通讯,该传感器可以检测到脸颊的抽搐,从而使光标在字母的行和列之间移动。虽然有效,但此过程可能很耗时且需要庞大的设备。
其他ALS患者使用类似的设备来测量控制面部肌肉的神经的电活动。但是,这种方法也需要笨重的设备,并且并不总是准确的。
他们创建的设备由嵌入在硅树脂薄膜中的四个压电传感器组成。传感器由氮化铝制成,可以检测皮肤的机械变形并将其转换为易于测量的电压。所有这些组件都易于批量生产,因此研究人员估计每台设备的成本约为10美元。
研究人员对健康志愿者使用了一种称为数字成像相关性的过程,以帮助他们选择最有用的位置来放置传感器。他们在脸上随机画出黑白斑点图案,然后在对象进行面部动作(例如笑脸,抽动脸颊或吐出某些字母的形状)时,使用多个摄像头在该区域拍摄了许多图像。图像由软件处理,该软件分析小点如何相对于彼此移动,以确定单个区域中经受的应变量。
McIntosh说:“我们让受试者进行不同的动作,并创建了脸部各个部位的应变图。” “然后,我们查看了应变图,确定了在脸上的哪个位置看到了该设备的正确应变水平,并确定了该设备是我们进行试验的合适位置。”
研究人员还使用皮肤变形的测量结果来训练机器学习算法,以区分微笑,张嘴和抿嘴。他们使用此算法对两名ALS患者进行了设备测试,并能够在区分这些不同动作方面获得大约75%的准确性。健康受试者的准确率是87%。
连续监测面部运动在神经肌肉疾病患者的非语言交流中起着关键作用。目前,主流方法是摄像头跟踪,这对连续,便携式的使用提出了挑战,MIT团研发的这种可穿戴的轻薄型压电传感器,能够可靠地解码面部变化并预测面部运动学,提升了识别的准确率。
“人工智能+可穿戴”增强沟通
基于这些可检测到的面部动作,可以创建一个短语或单词库来对应不同的动作组合。也可以根据每个人的动作创建定制化的消息,决定因素是整个词库配置,可以针对特定患者或一组患者设计该库。”
来自传感器的信息被发送到手持式处理单元,手持式处理单元使用研究人员训练以区分面部动作的算法对其进行分析。研究人员说,在当前的原型机中,该装置已连接至传感器,但也可以通过无线方式实现连接。
目前该技术已经申请了这项技术的专利,他们现在计划对其他患者进行测试。除了帮助患者交流之外,该设备还可以用于追踪患者疾病的进展,或衡量他们所接受的治疗是否有效。有许多临床试验正在测试某种特定疗法对逆转ALS是否有效。”该设备不仅可以依靠患者报告自己感觉好些,还是感觉自己更强壮,而可以提供定量的方法来追踪疗效。”