由于长期以来对机器人和人类之间的互动感兴趣,Creative Machines Lab at Columbia University 的研究人员历时五年,创造了 EVA,一个新的自主机器人,拥有一个柔软而富有表情的脸,可以响应附近人类的表情。
这项研究已经在 ICRA 2021 会议上发表,机器人的设计蓝图已经于2021年4月在Hardware-X上开源了。研究人员主要来自来自哥伦比亚大学工程与应用科学学院。
其中一个研究人员Lipson发现,机器人透过他们塑料的大眼睛盯着他,让他感觉这个机器人缺少灵魂。
在杂货店,他也发现了类似的趋势,他在那里遇到了佩戴名牌、戴着舒适的手工编织帽子的机器人。
人们似乎通过给机器人同事一个眼睛、一个身份或者一个名字来赋予他们人性, 这让研究人感觉很好奇,如果眼睛和衣服都能表达情感,为什么不制造一个拥有表情和反应更灵敏的人脸的机器人呢?
虽然这听起来很简单,但是对于机器人专家来说,创造一个令人信服的机器人脸是一个巨大的挑战。
几十年来,机器人的身体部件一直是由金属或硬塑料制成的,这些材料太硬,不能像人体组织那样流动和移动。机器人的硬件也同样粗糙,很难操作ーー电路、传感器和发动机都很重、耗电量大、体积庞大。
几年前,该项目的第一阶段于Lipson的实验室启动,当时本科生 Zanwar Faraj 带领一个学生团队建造机器人的物理机器。
他们把 EVA 建造成一个无实体的半身像,与Blue Man Group沉默但面部活泼的表演者有很强的相似性。
EVA 可以表达愤怒、厌恶、恐惧、喜悦、悲伤和惊讶这六种基本情绪,以及一系列更细微的情绪,通过使用人造肌肉(即电缆和马达)拉动 EVA 脸上的特定点,模仿连接在人脸皮肤和骨骼上的超过42个微小肌肉的动作。
创建 EVA 的最大挑战是设计一个足够紧凑的系统,既能够适应人类头骨的范围,又能够产生各种面部表情。
为了克服这一挑战,研究小组主要依靠3d 打印技术来制造具有复杂形状的零件,这些零件与 EVA 的头骨无缝、高效地结合在一起。经过几个星期的努力,使 EVA 微笑,皱眉,或看起来沮丧,研究小组注意到 EVA 的蓝色,脱离实体的脸可能引起他们的实验室同事的情绪反应。
“有一天,我正在做自己的事情,长荣突然给了我一个大大的,友好的微笑,”Lipson回忆说。“我知道这完全是机械性的,但我发现自己条件反射地回以微笑。”
一旦团队对 EVA 的机制感到满意,他们就开始着手该项目的第二个主要阶段:编写人工智能程序来指导 EVA 的面部运动。
尽管栩栩如生的电子机器人已经在主题公园和电影制片厂使用多年,但Lipson的团队在技术上取得了两大进步。EVA 使用深度学习人工智能读取和复制附近人脸的表情。EVA 模仿人类各种面部表情的能力是通过观看自己的视频反复试验而获得的。
最难自动化的人类活动包括在复杂的社会环境中发生的非重复性的身体运动。领导这个项目软件阶段的Lipson博士生Boyuan Chen很快意识到 EVA 的面部运动过于复杂,不能按照预先定义的规则进行管理。
为了应对这一挑战,Chen和另一个学生团队使用几个深度学习神经网络创建了 EVA 的大脑。机器人的大脑需要掌握两种能力:第一,学会利用自身复杂的机械肌肉系统来产生任何特定的面部表情; 第二,通过读取人类的面部表情来知道要做哪些面部表情。
为了让 EVA 知道自己的脸是什么样子,Chen和他的团队拍摄了数小时的 EVA 随机面孔连续镜头。然后,就像人类在 Zoom 上看自己一样,EVA 的内部神经网络学会了将肌肉运动与它自己脸部的视频片段结合起来。现在 EVA 对自己的脸是如何工作有了初步的认识(自我形象),它使用第二个网络将自己的自我形象与其摄像机捕捉到的人脸图像进行匹配。经过几次改进和反复,EVA 获得了从摄像机读取人类面部表情的能力,并通过模仿人类面部表情做出回应。
研究人员指出,EVA 尽管是一个实验室的实验,单独的模仿与人类通过面部表情进行交流的复杂方式相去甚远,但是这种技术有朝一日可能会有有益的、真实的应用。
例如,能够对各种各样的人类肢体语言做出反应的机器人将在工作场所、医院、学校和家庭中大有用处。
参考资料:
https://techxplore.com/news/2021-05-robot.html
https://www.eecs.yorku.ca/~chenfsd/