“喂!喂!听得到吗?”这是过去在使用移动设备时跟电话另外一头最常说的第一句话,当人们还没有习惯把语音通话转成视频的时候,新冠状病毒(COVID-19,俗称新冠肺炎)却加速了这一切的发生。
“嗨!嗨!有看得到吗?”或许已经是现在很多人的日常,因为疫情的关系导致人们必须改变生活习惯,远程的产生让会议、学习都转成线上视频,正也因为如此,疫情正加速“沉浸式体验”的发生。
沉浸式体验不只是视频会议或远程线上学习而已,应用在医疗产业教学机构的AR/VR头戴式设备,能让用户更有临场感的操作,也是一种沉浸式体验。在5G时代的来临,这些拥有大量信息的内容也才能得以被传递,但并不是只有5G传输的部署就好,终端设备在接收大量信息的同时,若运算力没有同步提升,依然无法提供给用户一个好的体验。
因此,在全球拥有超过7成使用率的Arm便针对移动设备的CPU、GPU以及NPU(神经网络处理器)等IP,推出全新的解决方案,来应对应用场景需要的高性能、低耗电等使用表现。
处理器性能提升,强化运算力才能有好体验
新一代的CPU:Cortex-A78将笔记本等级的运算力带入到移动设备上,比起前一代能有20%性能的提升,不仅能处理的资料量较过去来的多,这对终端设备机器学习的运算表现上也有帮助,主攻旗舰级手机或是大屏幕的移动设备。
新一代CPU比起过去有20%性能的提升,能提供旗舰手机或大屏幕移动设备更好的性能表现。
有了CPU在性能表现上的提升后,新一代GPU也延续去年Valhall架构推出Mali-G78 GPU,跟前一代相比绘图性能提升25%,并且最高能支持24核心。最特别的地方是Mali-G78 GPU能让移动设备的电池使用时间更长,不仅能对于高性能手游带来更好的游戏体验,也支持其他丰富的用户体验以及提升机器学习和复杂工作负载的性能表现,像是AR关注的应用等。
除CPU与GPU的搭配,能协助终端设备同时处理大量的信息以及图像内容,使用户在进行沉浸式体验的应用中更加流畅外,对于未来更强调万物联网如车联网等复杂的应用场景,NPU(神经网络处理器)的登场,更能对CPU有神助攻的表现。
机器学习时代来临,NPU运算角色扮演更重要
由于终端设备在未来可能需要进行更大量、快速的运算反应,执行资料运算对CPU来说可能负担越来越重,这也可能影响到GPU在处理图像上的表现,因此主以处理AI、机器学习等运算的NPU角色就更显重要。
Arm推出的第二代NPU:Ethos-N78有两大亮点,分别是效率及可配置性。采用最新的压缩技术,预估运算效率比起上一代提升25%,意味着相同面积里面将可执行更多的工作内容;而Ethos-N78能量身订制、拥有超过90种配置方式,不仅能配合工作负载调整外,也能依据客户的价格需求调整性能上的扩展。
NPU未来在移动设备中的角色是否会越来越重要?答案是毋庸置疑。由于AI的发展一直在加速、终端设备的机器学习也变得重要,因此在5G发展的时代会更加依赖终端设备的运算力,不仅有安全顾虑,也是为缩短资料上传所消耗的时间。
目前移动设备主要的运算力都落在CPU或GPU,Arm台湾总裁曾志光说,NPU在运算上所消耗的能量(Power)可能仅是CPU的1/10,这对于机器学习为未来趋势而言,是相当有帮助。
沉浸式体验不只游戏,靠合作伙伴画出更多蓝图
目前看来移动设备的沉浸式体验,主要应用似乎是以游戏为主,曾志光也补充说,站在Arm的角度并不这样认为。因为Arm会跟客户进行讨论后再推出相关的解决方案;随着这些IP的问世也会吸引更多的客户上门、为新IP打造更多的使用场景,以目前的视频会议来说,未来的沉浸式体验可能要往360度全景式方向前进,而且也可能依赖生态系统的合作伙伴思考,该如何突破让不同空间的参与者,能更顺利地进行协同合作的绘图、头脑风暴,让沉浸式体验的应用可以发挥极大值。
推出第二代NPU,看准的就是未来机器学习的重要性,能协助移动设备的运算性能表现。
“但疫情确实让用户感受到沉浸式体验的急迫性,而非疫情前的需要但非必要”曾志光这样说到。