Google自家的智慧手机Pixel系列,其最新的Pixel 4和Pixel 4 XL使用了Motion Sense技术,让用户不需要触碰设备,就能通过手势,控制音乐播放软件或是静音来电,而Motion Sense背后使用一种称为Soli的短程雷达传感器,Google还设计特别的机器学习算法,以解读Soli雷达资料中的信号,了解用户的动作意义。Goog
le提到,Pixel 4为目前消费型手机中,第一个集成短程雷达的设备。
雷达的基本功能,便是使用无线电波侦测和测量远程物体的属性。传统的雷达系统包含了发射器和接收器两部分,由发射器发射无线电波,无线电波碰到路径上的物体便会散射,部分反弹的无线电波会被接收器拦截,根据收到的波形,雷达系统便能侦测到物体的存在,并且估计物体的大小与距离等属性。
不过这种传统雷达并不能用在移动设备上,因为传统雷达的设计,仅可用于检测大型、刚性且远程的物体,消费型设备需要更高的灵敏度和分辨率来传感复杂的动作,因此Google团队重新打造了新型的雷达系统,以符合人机交互需要的精准度。
与传统雷达区分空间结构的想法不同,Soli主要的目的是要传感动作,Soli的天线可封装进5 mm x 6.5 mm x 0.873 mm无线射频集成电路(RFIC)中,并且被集成安装在手机顶部。Google提到,相对于以光学图片为基础的侦测器,他们开发出不需要对目标空间产生清晰图片的算法,不会有可识别的身体或是脸部的图像。
Soli处理随时间变化的信号来侦测和解析细微的动作,Soli雷达发送60 GHz的调频信号,并且接收附近物体的反射叠加,由于目标的位置移动,会在信号产生明显的定时偏移,通过分析多次的雷达信号,信号处理工作管线便能以不同的运动模式区分物体移动。
Google给出了几张动画范例,来表示Soli信号的特征,图像垂直轴代表从传感器出发的径向距(Radial Distance),由上而下数值增加,而水平轴则为朝向或是离开传感器的速度,中心为零,左侧是接近目标速度为负,右侧反之,另外,雷达所接收到的能量,也会被映射到径向距与速度维度中,会以每个像素的强度表示,强反射目标的像素,比弱反射目标的像素更亮。
下图3张雷达动态图由左至右分别是人走靠近设备、人碰触设备,最右则是人的手在设备上滑动。
Soli雷达原始信号在经过过滤和增强之后,便会输入Soli机器学习模型进行手势分类。Google提到,运动传感技术都存在两个主要的挑战,首先,每个用户的动作都是独特的,即便是简单的动作都是独一无二的,另一个挑战则是,传感器可能会接收到许多看起来跟手势类似,但实际上是不重要的信号,特别是当手机在移动时,以Soli雷达的角度来看,整个世界都在移动。
为了解决这些问题,Google并需要特定机器学习算法,他们找来了数千名志愿者,记录下数百万个手势,并且配对侧录的雷达信号,训练Soli的神经网络。Soli机器学习模型使用TensorFlow进行训练,并为Pixel设备的低功耗数字信号处理器优化,使其在设备低电量的情况下仍然可以执行。
Google早从2014年就开始研发Soli系统,经过大幅缩小整个雷达系统之后(下图),才得以放进消费性智能手机中,除了尺寸缩小之外,Google还必须优化Soli的计算周期,才能让Motion Sense适应智能手机的功率。Google也发展出特殊的信号处理技术,解决声音震动对于Soli系统的影响,使其能与周围的电话组件共存。