常年钻研AI的中研院院士暨哈佛大学计算机科学与电子工程教授孔祥重指出，AI将继续朝分布式方向发展，目前除了分布式联合学习（Federated learning）方法，和分布式的GPU算力网络来协助训练超大AI模型外，他与哈佛实验室团队也提出不少创新尝试，比如利用Early Exit方法，让AI预测时，不必每层类神经网络都得运算，来降低延迟，又或是将AI模型模块化，来提高重复使用率。甚至，他认为，AI模型中的模块，未来也会放置于区块链上来交易。
AI资讯洪流中找角度，将AI视为分布式系统
孔祥重回顾目前AI发展，光是2019年，就产出12万篇同侪评阅过的AI论文。数量之多，一般人就算只阅读其中的5%，1天就要看上16篇。为了跟上AI进展、不在资讯洪流中迷失，孔祥重说：“我们必须找出角度，”而他的角度，就是分布式系统。
这个分布式系统，可分为几个层面。以运算来说，分布式运算是AI系统扩展的主流做法，比如分布式数据库交易、云计算，或是单纯的云计算文件编辑，可由不同位置的用户更改，这些都是分布式运算实践。作为主流运算典范的AI系统，也势必会朝分布式系统继续发展。
分布式AI系统：分布式运算网络、联合学习方法
AI圈目前也有不少分布式做法，比如最常见的分布式运算网络，通过连接各处的GPU来提供算力，训练超大型AI模型。另一种分布式做法则是联合学习，通过集结不同参与者、共享模型而非共享资料，集众人之力来训练一套AI模型。
联合学习不仅能用于不同参与者，也可用于大量的分布式设备训练，比如，Google就用来优化数以万计Android手机的Gboard键盘选字推荐模型。
然而，孔祥重点出，分布式AI系统仍有些挑战待克服，像是用于模型训练和推论的算力应再减少、推论的延迟性应该降低，而且，如何适当处理不同参与者的资料分布（Non-IID），也是联合学习中常见的挑战。
此外，“模型如何分享、再利用，也是一大课题，”孔祥重点出，模型的再利用应该要更容易，才能让分布式AI更有效率，而非各自闭门造车。
哈佛实验室最新研究：模型模块化、利用区块链交易AI模块
针对这些挑战，孔祥重也带领哈佛实验室团队，做了不少尝试。比如，他们研究专用ASIC加速芯片，也研究Early Exit方法（如下图），让类神经网络运算时，不必每一层都执行，就能提早给出预测结果，来降低延迟。举例来说，在手写数字识别上，0非常好辨认，这类简单的输入值，不需执行所有类神经网络层运算，就能得出答案。
不只如此，他们也研究头戴式设备的分布式AI运算（如下图），比如让设备上每个镜头，能自行进行简单的运算，较复杂的综合运算，则交由设备后方的芯片来运算。而计算资源，也可分为云计算、边缘端和本地端来进行运算。 “比较难的是计算资源的切法，”他补充。
今年，他们更尝试打造模块化的类神经网络StitchNet，将预训练过的模型组件组装起来，成为一个可行的模型，不需大量资料、也不必再多做训练，就能执行任务。
最后，他还点出，AI模型中的模块，还能放到区块链上。2019年时，他与实验室团队发布一篇论文，说明如何用分布式的AI模型网络DaiMoN，来证明模型准确率，以及经同侪评阅、模型改进的准确率。而最近，孔祥重与实验室团队就在研究，不仅要将AI模块放到区块链上，让AI模块更容易重新利用，能组装成大小不一的模型外，还能拿来交易。
这就好比，数字内容以NFT形式在区块链上销售。 “让AI模块在区块链上进行商业交易，现在说来虽然有点远，但迟早会走到这一步，”孔祥重说。