图片分享社群平台Pinterest最近通过计算机视觉和机器学习等AI技术，为平台上图片中的商品自动添加购买链接标签（Pin），Pinterest表示，用户每天到Pinterest平台上找寻灵感，并找到自己想要购买的商品，特别是居家装饰类的商品，有数百万人到平台上找寻装饰的灵感，这也就是为什么Pinterest在2017年推出查看图片并购买的Shop The Look功能，允许用户在图片中点击自己喜欢的商品标签，就能直接进入购买页面完成结帐。
但是，一开始Pinterest是用人工的方式为这些商品标签搭配相对应的购买链接，而Pinterest平台上有数十亿张照片，不可能用人工的方式一一配对购买链接，因此，Pinterest利用计算机视觉和机器学习技术，将配对商品购买链接的过程完全自动化，正式在iOS版本的应用程序中，推出针对家居类别照片完全自动标示的体验，Android版本也即将推出，这次的更新使Shop The Look的标签添加了22.5倍。
在Pinterest平台上，1,000个最热门的搜索中，有97%都是非品牌的搜索，也就是用户通常用基本的商品类别名称来搜索，像是鞋子、沙发，因此，所有品牌的商品都有可能触及到用户的消费心理，而Pinterest的自动化则是为那些尚未链接到商业帐户的商品，粘贴购买链接的标签，若没有被粘贴标签的品牌，可以提交自己拥有帐户的声明来办理。
图片来源：Pinterest
Pinterest将自动粘贴购买链接标签的过程分为3个步骤：数据收集、机器学习建模和服务（serving）。在数据收集的阶段，Pinterest收集了平台上图片的信息，用于机器学习模型建模，机器学习建模的步骤是为了让模型识别并找到居家饰品在图片中的位置，这个过程会将物体分类成多个不同的商品类别，再用矢量来表示该商品，如此一来，视觉上相似物体彼此之间的矢量表示法，就会有较短的距离，用以辨别相似的物体，最后，通过训练完成的模型，来识别图片中的商品类别，再利用视觉矢量表示法找到最相近的商品候选人。
第一阶段，每个计算机视觉任务都需要有图片数据，比较特别的是，Pinterest的图像数据一张图中就含有多项商品，像是台灯、沙发、地毯、画作等，过去Pinterest已经收集了27万张高画质的图片，图片中包含近100万个商品，此外，Pinterest通过Google产品分类方法Product Taxonomy，在含有超过25万项商品的8万张图片，找出位置定界框（Bounding box）并标注类别，但是，该分类模型的效果并不如预期，在像是床具或是桌子这种粗略的分类表现不佳，Pinterest发现，这些粗略分类的商品形状和功能都有很大的差异，例如，床具的分类包含床罩、床单、枕头等，必须手动整理现有较细化标签的数据集，来改善模型。
在机器学习建模步骤中，Pinterest训练了3个模型，第一个是采用Faster R-CNN算法创建的侦测模型，侦测模型会抓取出图片中的物体并将其标示出商品类别，此外，Pinterest也训练了一套物体矢量表示法模型，这些矢量从图片中学习视觉相似性，为了训练模型能够识别出图片中不同角度、光线和噪声下的商品，Pinterest额外通过27万张含有商品配对的图片，让模型能够处理每张图片中的变化，因此，Pinterest得模型能够有效地找出相似的商品。
图片来源：Pinterest
第三个模型则是用用户提供的数据，重新评分视觉相似候选人的模型，用来进行产品优化，该模型也收录了语义和上下文的信息，像是图片的分类、经常被分类的版，以及图片中的其他物体。
最后服务的阶段中包含3个步骤，当用户送出搜索商品的请求时，Pinterest会先用检测模型来分解图片的内容，通过配对检测模型找出含有相对应类别商品的图片，接着，利用视觉相似度评分模型来产生候选结果，最后，再通过重新排名的模型优化候选结果。
Pinterest指出，此次自动化的更新能够向用户展示更多相似商品和图片，并能够更轻松地在平台中购买商品，而对于Pinterest内部而言，自动化也使得团队不需要重复做繁琐的贴标签工作，能够花更多时间开发创新的应用。