联发科在本周推出第一款高端5G手机专用处理器芯片“天玑1000”，除了集成了最先进7纳米CPU、GPU、5G调制解调器芯片之外，更在这颗处理器内，搭载一颗独立AI处理器APU 3.0，在AI应用加速运算执行上，可达到4.5 TOPS（每秒万亿次运算，Trillion Operations Per Second），完全不逊于苹果新款iPhone 11专用的AI神经网络处理芯片，甚至联发科宣称，该处理器是目前AI算力最高一款5G SoC单芯片，到底怎么做到？在今日（29日）一场技术说明会上，联发科首度对于这颗处理器采用的AI芯片透漏更多细节，可以一窥这颗AI处理器的性能表现。
为了抢得先机，赶在下周高通5G SoC产品发布会举行前，联发科不仅在本周推出首款5G SoC单芯片，更罕见地举办技术说明会，并由负责这款5G手机芯片开发的联发科无线通信业务部总经理李宗霖，协同两位研发主管，除了说明这颗新处理器的设计萌生想法，也透露更多关于其采用AI神经网络处理器APU 3.0技术细节。
在这场技术说明会上，主要是由负责这颗天玑1000处理器开发的手机部门研发主管，来进行技术上说明，图上左至右，分别为联发科无线通信业务部产品营销处经理粘宇村、联发科无线通信业务部总经理李宗霖、联发科无线通信业务部产品营销处处长何春桦
新推出的天玑1000，其实并非联发科最早搭载APU（AI Processing Unit）的移动处理器，早先，Helio P60推出时，在这颗CPU内就已开始内置APU处理器（或称为Mobile APU），不过，一开始，APU设计上，仅集成传统DSP来负责专门图片处理，并未加入AI神经网络处理能力，直到去年底，性能更强大的Helio P90问世时，联发科才首度加入自行研发打造的AI专用神经网络加速器，即是第二代APU，使得这颗CPU在AI算力表现高出前代多达4倍之多，可以来执行更复杂的AI任务。
首次集成5G能力的天玑1000处理器，则是改搭载第三代APU，更大幅度改善性能和功耗，来提供更强大的AI算力。首先，在设计上，与前一代有很大不同，APU 3.0采用全新2个大核、3个小核，以及搭配1个微小核的三层式运算架构设计，对比前一代仅是1大核，加上2小核的二层式设计，不仅，运算核心层数增加，大、小核心数也变更多，可以用于执行更多不同AI任务，例如自动曝光、降噪、HDR、图像分类，AI脸部识别等等。
之所以采取分层式混合运算核心设计，联发科无线通信业务部产品营销处处长何春桦解释，考虑到的是手机AI应用快速增长，进一步带来庞大且复杂AI运算处理需求的出现，更需要有这样子的架构，来保有计算资源调度的弹性，而且能有效控制高性能下的功耗。
他以手机拍照为例，不像以前只有照片修图才会用到AI，将来就连拍摄完的高画质视频，也都要加入AI功能，要能够对这些连续性图片画面进行各种优化，“因应这些需求，就需要更强大的推论处理能力，”所以，他说，在设计上，才会考量这方面的使用需求重新调整，打造出新一代APU架构，能够依据不同手机AI应用执行，交由适合的运算核心层来负责，例如需要比较复杂运算的图片处理时，就可使用APU最上层的二大核心执行，对于需要长时间、全景处理的运算任务，则可改用中间层这3个小核心处理，虽然运算力没大核高，但可以较长时间执行，避免过度耗电，同时，也保有VPU做法，针对需要传统图片信号处理的算法，仍可交由这一层来执行，并也强化浮点运算处理能力。
另外，针对手机拍照常用到的人脸侦测功能，联发科也特别在这颗APU最底层设计了一个更微型的小核心，专门就是用来执行脸部侦测，何春桦指出，这样做的好处，在于较一般以软件形式在CPU上执行的方式，直接采用这颗微核心来达到硬件加速的做法，不论是在全景人脸侦测准度，或是降低运算功耗上，都能够获得明显改善。
这样设计架构，也反应在运算性能提升上，APU 3.0每秒平均运算性能可达到4.5 TOPS，除了性能较前一代提高至少2.5倍，甚至也不输给目前主流移动处理器的加速AI芯片，例如，苹果新款iPhone 11的A13 Bionic处理器采用的AI神经网络引擎，其运算性能可达5 TOPS以上，若以同类型5G SoC产品来比较，也高于另一款三星Exynos 9820 NPU加速器的1.86 TOPS，不过，三星前不久推出新款5G SoC时，则是宣称将算力提高到了10 TOPS。
根据联发科公布测试数据，在目前几个常见神经网络架构（如SRCNN、MobileNet v2、Inception v3）为主的运算性能测试下，APU 3.0在AI运算加速上均获得不错优异表现，例如在浮点运算处理能力高于竞争对手2到3倍，另在整数运算性能测试也优于对手近40％～80％。除了运算力的大幅提升外，这代APU在能源效率方面也有所改善，多达4成。
在软件及开发工具方面，APU 3.0支持了联发科自有NeuroPilot神经网络开发平台，让手机设备商或开发人员，可以通过SDK组件将第三方AI算法移植到这个处理器上来执行，并且也兼容于Android神经网络API（Android NNAPI），还支持许多主流的AI框架，如TensorFlow、TF Lite、Caffe、Caffe2以及MXNet等。
除了技术上说明之外，联发科无线通信业务部总经理李宗霖今天也披露更多关于5G SoC产品化蓝图，他表示，除了高端手机能用之外，未来因应市场需求，也会推出中、低端手机能用的5G SoC。另外，由于目前全球5G商用网络，大多还是以Sub-6GHz频谱为主，所以在产品策略上，联发科决定先推Sub-6GHz的5G SoC，但并不表示没在开发高频段的毫米波5G产品，李宗霖强调，这两种5G技术，皆同时并行开发，除了支持Sub-6GHz，后续，也会推出能够支持毫米波频段的5G SoC产品。
