DeepMind程序设计AI AlphaCode具人类工程师中等水准

Alphabet旗下AI公司DeepMind又有新进展了。DeepMind本周表示该公司设计的AlphaCode AI系统具备能撰写程序的能力,且在程序竞赛中证明已经具备人类中等程序设计师水准。

DeepMind发展的AlphaCode系统是机器学习系统,可学习解决问题能力。DeepMind利用过去程序代码及资料集训练后,AlphaCode的变换器(transformer)语言模型产出极大规模的程序代码后,从中产出特定程序。通过程序竞赛平台Codeforces评比,AlphaCode被认为具“中等参赛者”的水准,也是AI程序撰写系统首次达到具竞争力的水准。

DeepMind指出,程序竞赛本质上是程序设计师解决问题的过程。参赛者接到多个问题描述,并被要求在几小时内撰写程序解决问题。赢得程序竞赛需要的问题解决能力超出现有AI系统能力,而这集结了分析思维、逻辑、算法、程序撰写及自然语言理解。为此,DeepMind结合了大规模变化器(transformer)模型大量程序采样(sampling)及筛选(filtering)试图开发出能解决未知问题的AI系统。

在做法上,DeepMind预先以GitHub上公开程序代码来预训练模型,并以少量高品质的编程资料集来微调。在评估阶段,他们为程序竞争主办单位给定的问题各创建了该公司历来最大量C和Phyton程序,然后开始针对这些程序进行筛选、集合及重新排名,最后完成10支最有希望的程序,并且提交给主办单位。DeepMind指出,这套自动化系统运行不同于一般竞争者使用的尝试错误(trial and error)过程,即调试、编译、测试及提交。

图片来源/DeepMind

最后,他们在主办单位同意下,模拟参赛近年10次竞赛,每一次AlphaCode都必须开发出新式解决方案。总结而言,AlphaCode能力在所有参赛者中,大约名列前54%的水准,在其中等能力。虽然无法赢得大赛,但DeepMind认为AlphaCode已显示深度学习模型解决分析思维任务的能力进展。

DeepMind相信这有助于推进问题解决型AI的研究。DeepMind也将AlphaCode使用的资料集公布在GitHub上,包括每一次测试的资料供外界使用。