您现在的位置是:今天新闻网 >教育 > 阿里巴巴浙大Poster论文:基于直推式无偏嵌入的零样本学习

美高梅国际娱乐官网

时间:2018-06-11 04:33??来源:新浪网??阅读次数: 复制分享 我要评论

CVPR 2018 | 阿里巴巴&浙大Poster论文:基于直推式无偏嵌入的零样本学习

2018-06-09 11:44 来源:机器之心Synced 阿里巴巴 /设计

原标题:CVPR 2018 | 阿里巴巴&浙大Poster论文:基于直推式无偏嵌入的零样本学习

阿里巴巴授权发布

作者:Jie Song、Chengchao Shen、Yezhou Yang、Yang Liu、Mingli Song

大多数现有的零样本学习(Zero-Shot Learning,ZSL)方法都存在强偏问题,因此在广义 ZSL 设置中部署后性能很差。本文提出了一个简单有效的方法——准完全监督学习(QFSL)来解决此问题。在 AwA2、CUB 和 SUN 美高梅娱乐手机版官网集上进行的实验表明,该方法在遵循广义 ZSL 设置的情况下比现有方法提高了 9.3%至 24.5%,在遵循传统 ZSL 设置下有 0.2%至 16.2%的提升。

1 引言

在大规模的训练美高梅娱乐手机版官网集的支撑下,计算机视觉中的物体识别算法在近几年取得了突破性的进展。但是人工收集和标注美高梅娱乐手机版官网是一项十分耗费人力物力的工作。例如,在细粒度分类中,需要专家来区分不同的类别。对于如濒临灭绝的物种,要收集到丰富多样的美高梅娱乐手机版官网就更加困难了。在给定有限或者没有训练图片的情况下,现在的视觉识别模型很难预测出正确的结果。

零样本学习是一类可以用于解决以上问题的可行方法。零样本学习区分 2 种不同来源的类,源类(source)和目标类(target),其中源类是有标注的图像美高梅娱乐手机版官网,目标类是没有标注的图像美高梅娱乐手机版官网。为了能够识别新的目标类(无标注),零样本学习假定源类和目标类共享同一个语义空间。图像和类名都可以嵌入到这个空间中。语义空间可以是属性(attribute)、词向量(word vector)等。在该假设下,识别来自目标类的图像可以通过在上述语义空间中进行最近邻搜索达成。

根据目标类的无标注美高梅娱乐手机版官网是否可以在训练时使用,现有的 ZSL 可以分为 2 类:归纳式 ZSL(inductive ZSL)和直推式 ZSL(transductive ZSL)。对于归纳式 ZSL,训练阶段只能获取到源类美高梅娱乐手机版官网。对于直推式 ZSL,训练阶段可以获取到有标注的源类美高梅娱乐手机版官网和未标注的目标类美高梅娱乐手机版官网。直推式 ZSL 希望通过同时利用有标注的源类和无标注的目标类来完成 ZSL 任务。

在测试阶段,大多数现有的归纳式 ZSL 和直推式 ZSL 都假定测试图像都来源于目标类。因此,对测试图片分类的搜索空间被限制在目标类中。我们把这种实验设定叫作传统设定(conventional settings)。然而,在一个更加实际的应用场景中,测试图像不仅来源于目标类,还可能来自源类。这种情况下,来自源类和目标类的美高梅娱乐手机版官网都应该被考虑到。我们把这种设定叫作广义设定(generalized settings)。

现有的 ZSL 方法在广义设定下的效果远远不如传统设定。这种不良表现的主要原因可以归纳如下:ZSL 通过建立视觉嵌入和语义嵌入之间的联系来实现新的类别的识别。在衔接视觉嵌入和语义嵌入的过程中,大多数现有的 ZSL 方法存在着强偏(strong bias)的问题(如图 1 所示):在训练阶段,视觉图片通常被投影到由源类确定的语义嵌入空间中的几个固定的点。这样就导致了在测试阶段中,在目标美高梅娱乐手机版官网集中的新类图像倾向于被分到源类当中。

阿里巴巴浙大Poster论文:基于直推式无偏嵌入的零样本学习

图 1. 语义嵌入空间中对可见源类的偏向示意图。蓝色圆点表示源类指定的锚点。

为了解决以上问题,本文提出了一种新的直推式 ZSL 方法。我们假定有标注的源美高梅娱乐手机版官网和目标美高梅娱乐手机版官网都可以在训练阶段得到。一方面,有标注的源美高梅娱乐手机版官网可以用于学习图像与语义嵌入之间的关系。另外一方面,没有标注的目标美高梅娱乐手机版官网可以用于减少由于源类引起的偏置问题。更确切地来说,我们的方法允许输入图像映射到其他的嵌入点上,而不是像其他 ZSL 方法将输入图像映射到固定的由源类确定的几个点上。这样有效地缓解了偏置问题。

我们将这种方法称为准全监督学习(Quasi-Fully Supervised Learning, QFSL)。这种方法和传统的全监督分类工作方式相似,由多层神经网络和一个分类器组成,如图 2 所示。神经网络模型架构采用现有的主流架构,比如 AlexNet、GoogleNet 或者其他框架。在训练阶段,我们的模型使用有标注的源类美高梅娱乐手机版官网和没有标注的目标美高梅娱乐手机版官网进行端到端的训练。这使得我们的模型有一两个明显的特性:(1)如果未来可以得到目标类的标注美高梅娱乐手机版官网,那么标注美高梅娱乐手机版官网可以直接用于进一步训练和改进现有的网络模型;(2)在测试阶段,我们得到的训练模型可以直接用于识别来自于源类和目标类的图像,而不需要进行任何修改。

本论文的主要贡献总结如下:

提出了准全监督学习的方法来解决零样本学习中的强偏问题。据我们所知,这是第一个采用直推式学习方法来解决广义设定下零样本学习问题。

实验结果表明我们的方法在广义设定下和传统设定下都远超现有的零样本学习方法。

3 方法

3.1 问题的形式化

假设存在一个源美高梅娱乐手机版官网集每张图片与相应的标签对应,其中, S 表示源类中类的个数。目标美高梅娱乐手机版官网集, 每张图片与相应的标签对应,其中, T 表示目标类中类的个数。ZSL 的目标就是学习如下所示的预测函数 f():

其中 F() 是一个得分函数,其目标是正确的标注比其他不正确的标注具有更高的得分。W 是模型 F() 的参数,F() 通常使用如下的双线性形式:

其中θ(x) 和Φ(y) 分别表示视觉嵌入和语义嵌入。得分函数通常使用带正则化的目标函数进行优化:

阿里巴巴浙大Poster论文:基于直推式无偏嵌入的零样本学习

其中 L_p 表示分类损失,用于学习视觉嵌入和语义嵌入之间的映射。Ω 表示用于约束模型复杂度的正则项。

本文假设给定标注源美高梅娱乐手机版官网集 D^s,无标注目标美高梅娱乐手机版官网集和语义嵌入Φ,学习 ZSL 模型,使得其既能在传统设定下又能在广义设定下获取良好的表现。

阿里巴巴浙大Poster论文:基于直推式无偏嵌入的零样本学习

图 2. QFSL模型的总体架构。标记和未标记的美高梅娱乐手机版官网都用于训练相同的模型。为便于理解,将其分为两个部分进行描述。

3.2 QFSL 模型

  • 经济
  • 娱乐
  • 养生
  • 体育
  • 科技
  • IT
  • 军事
  • 新闻
  • 游戏
推荐内容
热点内容
网站地图 Website Map

 
本站部分文章新闻来源于网络,如无意中对您的利益构成了侵犯,我们深表歉意,请来电告知,我们会立即删除。
今天新闻网版权所有,未经书面授权禁止使用!Copyright © 2015-2017  www.zjydgold.com
主办单位:今天新闻网  ICP备案号:鲁ICP备09074049号-1 sitemap 网站地图