中科院带你全面了解40种搬迁学习方法

【导读】搬家学习(Transfer Learning)作为近年来的研讨抢手之一,遭到了广泛重视,每年在各大会议上都有很多的相关文章宣布。因为其广泛的运用远景,搬家学习现已成为机器学习中一个抢手和有出路的范畴。这篇新出论文对近几年搬家学习进行了全面总述,对现有的搬家学习研讨进行整理使其体系化,并对搬家学习的机制和战略进行全面的概括和解读,协助读者更好地了解当时的研讨现状和思路。作者分别从数据和模型的视点对40多种具有代表性的搬家学习办法进行了总述,而且还扼要介绍了搬家学习的一些运用。一起为了展现不同搬家学习模型的功能,作者在Amazon Reviews,Reuters-21578和Office标签11-31这三个数据集上运用了20种具有代表性的搬家学中科院带你全面了解40种搬家学习办法习模型进行试验。

标题:A Comprehensive Survey on Transfer Learning

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

【摘要】搬家学习的意图是经过搬家包括在不同但相关的源域中的常识来进步方针学习者在方针域上的学习体现。这样,能够削减对很多方针域数据的依靠,以构建方针学习者。标签19因为其广泛的运用远景,搬家学习现已成为机器学习中一个抢手和有出路的范畴。尽管现已有一些关于搬家学习的有价值的和令人形象深入的总述,但这些总述介绍的办法相对孤立,缺少搬家学习的最新进展。跟着搬家学习标签10范畴的敏捷扩展,对相关研讨进行全面的回忆既有必要也有应战。本文企图将已有的搬家学习研讨进行整理使其体系化,并对搬家学习的机制和战略进行全面的概括和解读,协助读者更好地了解当时的研讨现状和思路。与以往的文章不同,本文从数据和模型的视点对40多种具有代表性的搬家学习办法进行了总述。还扼要介绍了搬家学习的运用。为了展现不同搬家学习模型的功能,咱们运用了20种有代表性的搬家学习模型进行试验。这些模型是在三个不同的数据集上履行的,即Amazon Reviews,Reuters-21578和Office-31。试验成果表明,在实践运用中挑选适宜的搬家学习模型是十分重标签14要的。


参阅链接:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

请重视专知大众号(点击上方蓝色专知重视

  • 后台回复“搬家学习总述” 就能够获取最新论文的标签11下载链接~

导言


尽管传统的机器学习现已取得了巨大的成功,并在许多实践运用中得到了成功的运用,但在某标签19些实践场景中依然存在必定的局限性。机器学习的抱负场景是有很多符号的练习实例,它们和测试数据具有相同的散布。但是,在许多运用程序中,搜集满足的练习数据一般是贵重的、耗时的,乃至是不现实的。半监督学习经过削减对很多符号数据的需求,在必定程度上处理了这一问题。半监督办法一般只需要有限数量的符号数据,运用很多的未符号数据来进步学习精度。但是在许多状况下,未符号的实例也很难搜集,这一般使得到的传统模型不能令人满意。

搬家学习(Transfer learning)是一种处理上述问题的机器学习办法,它侧重于跨范畴的常识搬运。实践上,学过钢琴的人学小提琴比他人学得快。受人类跨范畴搬家常识才能的启示,搬家学习旨在运用来自相关中科院带你全面了解40种搬家学习办法范畴标签19(称为源域)的常识来进步学习功能或最小化方针域所需的符号示例的数量。值得一提的是,源域和方针域之间的联系影响搬家学习模型的功能。凭直觉,学过中提琴的人一般比学过钢琴的人学小提琴更快。相反,假如范畴之间没有什么共同之处,中科院带你全面了解40种搬家学习办法学习者特别简单遭到常识搬家的负面影响。这种现象被称为负搬家。

搬家学习能够进一步分为两类,即同构和异构搬家学习[1]。研讨者提出了一种依据同构搬家学习的办法来处理域具有相同特征空间的状况。异构迁标签14移学习是指在不同范畴具有不同特征空间的状况下的常识搬运进程。除了散布习惯外,异构搬家学习还需要特征空间自习惯[4],这使得异构搬家学习比同构搬家学习愈加杂乱。本总述旨在从数据和模型的视点,让读者对搬家学习有一个全面的了解。介绍了搬家学习办法的原理和战略,使读者了解搬家学习办法的作业原理。

此外,咱们还经过试验验证了搬家学习模型在哪些数据集上体现杰出。在这次总述中,咱们更重视同构搬家学习。本文还有一些未涉及到的有意思的搬家学习主题,如强化搬家学习[5]、终身搬家学习[6]、在线搬家学习[7]


本标签20文的其余部分分为七个部分。第2节说明搬家学习与其他相关机器学习技能的差异。第3节介绍了本总述中运用的符号和搬家学习的界说。第4节和第5节分别从数据和模型的视点解说了搬家学习办法。第6节介绍了搬家学习的一些运用。试验成果见第7节。最终一部分总结了本次总述。


这项总述的首要奉献概述如下。

  • 介绍和总结了40中科院带你全面了解40种搬家学习办法多种具有代表性的搬家学习办法,让读者对搬家学习有一个全面的了解。

  • 咱们经过试验来比较不同的搬家学习办法。对20种不同办法的功能进行了直观的展现和剖析,对读者在实践中挑选适宜的办法有必定的辅导和协助。

表1 文中中科院带你全面了解40种搬家学习办法符号信息。

搬家学习的分类

搬家学习有几种分类规范。例如,搬家学习问题能够分为三类: 即transductive, inductive, 和unsupervised搬家学习[13]。依据综标签19述[13],搬家学习办法能够分为四类:instance-based, feature-based, parameter-based, 和relational-based办法。

为了更好地了解,图1给出了上述搬家学习的分类。

图1 搬家学习的分类。

依据数据的搬家学习办法

许多搬家学习办法,特别是依据数据的搬家学习办法,侧重于经过数据的调整和转化来完成常识的搬家。图2从数据的视点中科院带你全面了解40种搬家学习办法展现了这些办法的战略和方针。

图2 从数据的视点看搬家学习办法的战略和方针。

特征转化战略

依据特征的办法一般选用特征转化战略。基中科院带你全面了解40种搬家学习办法于特征的办法将每个原始特征转化为新的特征表明,用于搬家学习。特征改换的操作可分为三种类型:即feature augmentation, feature reduction, 和feature alignment.。

表2 搬家学习中选用的衡量规范。

依据模型的搬家学习办法

搬家学习办法也能够从模型的视点来解说。图3为相应的战略和方针函数。搬家学习模型的首要方针是对方针域做出精确的猜测成果,如分类或聚类成果。留意,搬家学习模型或许包括一些子模块,如分类器、提取器或编码器。本节依据图3所示的标签20战略,顺次介绍了一些相关的搬家学习办法。

图3 从模型的视点看搬家学习办法的战略和方针。

试验

搬家学习技能已成功地运用于许多实践运用中。在本节中,咱们将经过试验来评价一些具有代表性的不同类别搬家学习模型在两个干流研讨范畴的体现,即方针辨认和文本分类。

表3 预处理数据集的计算信息。

图5 Reuters-21578上的比较成果

表4 在Amazon Reviews上四个域的Accuracy:Kitchen (K), Electronics (E), DVDs (D) 和Books (B)。

表5 在Reuters-21578上三个域的Accuracy:标签10Orgs, People, and Places。


图6 Office-31上的比较成果.

表6 在Office-31上的三个域的Accuracy:Amazon (A), Webcam (W), 和DSLR (D)。

定论

本文从数据和模型的视点,总结了搬家学习的机制和战略。本总述对搬家学习给出了清晰的界说,并运用一致的符号体系来描绘很多具有代表性的搬家学习办法和相关作业。根本介绍了依据数据解说和依据模型解说的搬家学习的方针和战略。作者期望作业能够协助读者更好地了解研讨现状和研讨思路。


原文链接:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4


更多关于“搬家学习”的论文常识材料,请登录专知网站www标签14.zhuanzhi.ai,检查:

https://www.zhuanzhi.ai/topic/2001115360986073/vip

Write a Comment

电子邮件地址不会被公开。 必填项已用 *标注