我们都看过好莱坞电影中的“动作捕捉”场景,通过贴满传感器的全身套装关注动作,计算功能够将演员变成巨人或野兽,而在现实生活中,普林斯顿神经科学研究所(PNI)也发达出一套AI 工具,只需要几分钟的训练,便能像演员穿戴传感器一样,在现有视频中自动关注动物的动作细节,协助动物肢体语言的研究进行。
这项被称为LEAP 的工具只需要几分钟的训练,不需添加任何物理标记或标签,就能够以,以高精准度自动关注视频中数百万帧动物各个身体部位的姿态,分子生物学副教授Mala Murthy 表示,“这个方法可广泛用于动物模型系统,用来衡量有基因突变或药物治疗后动物的行为”。
尽管论文预计会发布在2019 年1 月出版的《自然-方法》 (Nature Methods)期刊上,但因为5 月已经发布开放版本,目前软件已经被被许多相关实验室采用。
论文第一作者、PNI 研究生Talmo Pereira 表示,这个工具非常灵活,原则上可用于任何图片数据,“它的工作方式是在几个视频中标记几个点,接着神经网络会完成剩下的工作。我们提供了一个易于使用的界面,让任何人无需任何预先的编程知识,都可以将LEAP 应用到自己的视频中。”
当被问及LEAP 是否在大型哺乳动物的效果和在受试的苍蝇和老鼠一样好时,Pereira 立即使用肯尼亚Mpala 研究中心的行走的长颈鹿视频进行示范,花了不到1 个小时在30 帧中标记了点,而LEAP 随后便能立即关注剩余视频中的长颈鹿动作姿态(大约500 帧)。
过去类似的AI 工具都依赖大量的手动注释数据训练,使其能够在各种不同背景、光线的数据上工作,而在LEAP 上因为开发团队创建的系统,用户可以选择适合适户收集的数据类型的神经网络,而不会受到其他研究人员或公司进行项目的限制。 ”
在未参与研究英国皇家兽医学院(RVC)Monica Daley 看来,这项工作在神经科学之外也具有巨大的潜力。Daley 的多数研究都在了解动物如何在不同的地形环境下有效地移动,而这其中做大的挑战便是从视频片段中提取有意义的消息,LEAP 有望让相关研究者的工作变得比以往更自动化,能够专注于研究更多种类的动物运动行为。
当研究者将LEAP 与其他定量工具相结合后,便能通过观察动物身体运动模式来研究所谓的“肢体语言”,而团队内的神经科学家也就可以与背后的神经过程创建相关联系。
过去五年中,神经科学在观察和操纵大脑活动的技术上取得了巨大进步,而在LEAP 的协助下,未来动物行为的自动分类也能够更加自动化,研究作者之一的Joshua Shaevitz 认为,这不仅能使研究人员更好地了解大脑如何产生行为,也能够探索未来对于需求者的诊断和治疗方法。