AWS最近在ML自动构建和部署工具SageMaker平台中,为Object2Vec算法添加了4个新功能,Object2Vec是常见的神经嵌入算法,添加的功能包含负采样(negative sampling)、稀疏数据梯度更新、权重共享(weight-sharing),以及比较器(comparator)运算符订制,来解决企业的痛点。
过去,若应用案例只有positive标记的数据,企业需要手动进行负采样,来预先处理数据,通过新的负采样功能,Object2Vec算法在训练过程中,会自动将不易发现和标记的数据自动标记为negative,而稀疏数据梯度更新的功能,则是可以在不损失性能的情况下,加速单一GPU的训练工作,此外,若有多个GPU,还能够更进一步加速训练速度。
另外,Object2Vec算法的架构含有两个编译器,每个编译器都有自己的token嵌入层,用来编译来自两个输入来源的数据,过去训练的过程中,算法是分开学习两个编译器的输入矢量,现在,添加的超参数能够让两个编译器共享token嵌入层。而过去比较器的运算符是固定的,从两个编译器中收集并输出结果,而现在,AWS让企业可以自订运算符,如此一来,就能根据应用最佳的表现来优化算法,目前提供的二元运算符有hadamard、concatand和abs_diff。