自2019年Facebook并购CTRL-labs并整合至Facebook Reality Labs（FRL）后，团队不断探索未来的人机交互（Human-computer interaction，HCI），正在开发自然、主动的方式结合AR眼镜进行操作交互。FRL团队近期发布对于AR眼镜的愿景，并展示以开发中的腕部穿戴设备读取EMG（electromyography，肌电图），创造一连串未来式体验。
Facebook已预告与雷朋（Ray-Ban）制造商Luxottica合作开发新产品，是导入AR（Augmented Reality，增强现实）技术的智慧眼镜。虽然产品细节尚未公开，但可以想象佩戴者的视觉感受有望有虚拟图片与真实环境结合在一起，如实呈现您所看到的世界。
FRL团队认为，在探索未来人机交互时需要一个容易上手、极度可靠、保有隐私，同时还能让您与现实世界随时连接的创新接口。其中关键的2个要素，一是要能理解您的指令、行动、场景以及周边环境的“场景感知AI”，对您可能需要的信息或想做的事进行深入推断；二是让您毫不费力就能向系统沟通、发出指令的方式，FRL团队称之为“摩擦力极低的输入方法”，例如动个手指头就能点击眼前的虚拟按钮。
然而这样的愿景还需要很多年的时间才有可能实现，于是FRL团队先分享一个近期有机会完成的版本：腕式输入结合功能有限的场景感知AI。
为何采取腕部穿戴设备？
FRL团队在6年前成立时，就开始为AR眼镜构思理想的输入设备，它需要支持多样操控方式，外形尺寸要能舒适佩戴一整天，还要具有低耗电量，使其足够运行一整天。
那么，戴在手腕上的穿戴式设备是FRL团队目前积极开发的做法。手腕是佩戴手表的位置，既舒适也适合全天候佩戴，也与人们交互的主要工具“双手”非常接近，易于打造腕式输入的方式。
Here’s some mind-blowing technology being developed by@boztankand his team for our AR glasses: wrist-based sensors that let you control devices using the same electrical motor nerve signals you use to move your handshttps ://t.co/UsVsGA7tm6pic.twitter.com/T6xZzfoEdM
—Mike Schroepfer (@schrep)March 18, 2021
不过，FRL团队目前尚未找到能实现多样操控方式的明确路径，而EMG成了最具潜力的解决方案。
EMG是使用传感器，将从脊髓通过手腕流向手部的神经信号转化成数字指令，让人们能借由设备控制各种功能。通过手腕的神经信号非常清晰，EMG因而能够推断小至1毫米的手指动作，而且这种控制能力具有高度个性化的特性，使得这种设备也许能在您动动手指之前即感应到意图。
想象一下，戴着腕部穿戴设备结合AR眼镜后，运用双手就能隔空操作不同功能，例如手指“点击”打开网页或特定功能、左右“滑动”选择不同的照片或网页、“敲打”眼前的虚拟键盘以输入文本等，这种未来式体验将会大大改变你我的生活方式。
下一步：智能点击
未来系统可能提供用一个简单的点击动作来确认事项，而非通过菜单方式点击您想做的事，这就是FRL团队正在努力开发的“智能点击”（Intelligent Click），借由AI对用户接下来可能想做的事情有一定的了解，进而提供建议。
比方说，您在慢跑时，系统会根据过去使用行为，认为您最有可能想边跑步边听歌曲，接着便会自动显示“播放跑步用播放清单？”只需要点击播放即可。由于智能点击会根据个人历史记录与选择，提供高度相关的建议，让您使用最少的动作就能达到目的。
另一方面，人们与外在世界交互，通过双眼、双手来完成各种动作，随后接收外界传来的各种反馈以了解这个世界的运行。即便未来使用腕式输入的方式，同样需要反馈循环，这时触觉反馈技术将能派上用场。以虚拟射箭为例，通过腕式触觉技术，能够营造近似于拉开弓弦的感觉，以便让您相信自己正在执行这个动作。
为此，FRL团队正在探索名为“波纹带”（Bellowband）、“触觉与挤压手环接口”（Tactile and Squeeze Bracelet Interface，Tasbi）等原型机，借此产生有趣的压力与振动触觉反馈。
（图片来源：Technology at Facebook）