Nvidia推出ADA自适性鉴别增强技术,可以少量资料训练AI

Nvidia开发了一种用于训练生成对抗网络(Generative Adversarial Network, GAN)的新方法,有朝一日可以使该网络适用于更多类型的任务。在开始探究Nvidia的工作之前,先了解一下GAN的运行原理会 有所帮助。每个GAN都由两个相互竞争的神经网络组成:生成网络(Generator)和鉴别网络(Discriminator)。

在两个对抗网络中,其中一个算法的目标是创建新图像,另一个则会检查数以千计的样本图像。然后,它会使用这些数据来“指导”其对抗网络。为了创建始终如一的可信结果,传统GAN需要5万到10万张左右的训练图像。如果数量太少,它们往往会遇到“过度拟合”(Overfitting)的问题。在这种情况下,鉴别网络没有足够的基础来有效地指导生成网络。

传统资料增强法会衍生GAN网络滥用“失真”的问题

过去,AI研究人员试图解决此问题的常见方法就是使用“资料增强法”(Data Augmentation)。再次以图像算法为例,在没有太多材料可用的情况下,他们将尝试通过创建可用材料的“失真”副本来解决该问题。在这种情况下,失真可能意味着裁剪、旋转或反转图像。这里的想法是网络绝不会看到完全相同的图像两次。

这种方法的问题在于,这将导致GAN将学会模拟这些失真,而不是创建新的图像。NVIDIA新的“自适性鉴别增强技术”(Adaptive Discriminator Augmentation, ADA)方法仍然会使用资料增强法,但会自适应地这么做。它不会在整个训练过程中让图像失真,而是有选择地并刚刚好地加以失真化,进而让GAN避免过度拟合的问题。

NVIDIA方法的潜在结果可能比你想象的要有意义。训练AI编写新的纯文本冒险游戏很容易,因为算法可使用的材料够多。但对于研究人员可以向GAN寻求帮助的许多其他任务来说,情况并非如此。例如,精确地训练算法以发现罕见的神经性脑部病变极其困难,这是因为它太罕见了。但是,通过NVIDIA ADA方法训练的GAN网络可以解决这样的问题。另外一个好处是,医生和研究人员可以更容易地分享他们的研究与发现,因为他们的工作是基于AI创建的图像,而不是真实世界里的病患。NVIDIA接下来会在即将于12月6日举行的神经信息处理系统大会(NeurIPS)上分享有关其新ADA技术的更多信息。

(首图来源:Nvidia)