
地理分析平台Descartes Labs使用AWS EC2云计算服务,执行High-Performance LINPACK(HPL)基准,达到每秒接近10 PFLOPS,在2021年6月的TOP500超级计算机排名中进入第41名。这项试验证明了按需取得的虚拟超级计算机,已经可以应对超大规模的密集运算任务,而且能在使用完毕,立刻发布所有计算资源。
Descartes Labs使用HPC和机器学习技术,处理来自全世界的传感器资料,并以接近即时的速度,计算、分析和存储这些资料,提供全球农业、矿业、国防情报和消费市场重要的产业分析报告。
Descartes Labs提到,对全球范围的地理空间分析能力,像是环境监测、恶劣天气关注和预测,或是多模式资料融合以及气候变化分析等,逐渐变得重要,面对极端气候,他们必须更加频繁地处理像是大范围野火事件。最近Descartes Labs就处理了6 PB的Sentinel-1雷达资料,以关注大陆森林砍伐、野火发生高风险区域,并且监控再生农业的实践。
这类型高性能计算工作负载,需要用到超级计算机大量的计算能力,而当前要创建超级计算机,必须由政府或是财力雄厚的研究机构和企业,投资数千万美元构建而成,这个过程除了需要专业知识外,还需要经多年规划和实践,且一旦超级计算机构建完成,便必需要保持使用率,借由用户排队轮流使用超级计算机,以确保投资的有效性。
Descartes Labs在2019年的时候,尝试在AWS上构建超级计算机,其首次执行的结果为1.93 PFLOPS,同年6月,他们在C5执行实例集群上执行,总共使用41,472核心,这次在TOP500列表推进排名到达136名,Descartes Labs提到,通过使用AWS美东US-East 1地区的1组节点,大概花费5,000美元,在不需要等待以及付出构建硬件成本的状况下,快速获取超级计算机的计算资源。
于云计算构建虚拟超级计算机的好处,除了不需要投入大量资金,只要在需要的时候配置资源,完成运算后,还能立刻释放资源,用户可以按照需要规划使用的资源,不必为了提高利用率而增加运算工作,而且因为不需要购买硬件,能够随时在新兴技术可用时,租用包括GPU或是机器学习专用硬件等资源。
在今年,Descartes Labs团队决定再进行一次更大规模的测试,他们使用了4,096个EC2执行实例,包括C5、C5d、R5、R5d、M5和M5d,总共使用172,692个核心,实现最高性能9.95 PFLOPS,在TOP500排名进到了41名,从2019年到2021两年间,性能提升了417%,是传统系统的性能提升速度的10倍。结束历时9小时的计算,Descartes Labs在24分钟内关闭集群,停止所有执行实例运行,展示了按需超级计算机的弹性。