论文下载地址:https://arxiv.org/abs/1808.01974?context=stat.ML
问题:
【1】传统的机器学习方法要求数据满足:训练数据与测试数据独立同分布( independent and identically distributed
(i.i.d.) )。而实际应用中,很多情况不满足这个条件【训练数据:素颜照片,测试数据:美颜照片】。迁移学习放开可这个假设。
【2】深度学习方法依赖于大量的训练数据。一个有趣的现象:一个模型的规模和所需数据样本的数量是呈线性关系。而实际应用中,数据很难获取,耗时耗力。迁移学习可利用充足的源域(source domain)数据来训练模型,在数据不充足的目标域(target domain)获得不错的结果。
分类:
【1】基于实例的迁移学习
假设依据:"Although there are different between two domains, partial instances in the source domain can
be utilized by the target domain with appropriate weights.".
方法:用特定的权重调整策略,从源域中选择部分实例【图中并集中的源域部分(深蓝色)】,作为目标域训练集的补充,通过给选择的样本分配合适的权重。
【2】基于映射的迁移学习
假设依据:"Although there are different between two origin domains, they can be more similarly in an elaborate new data space.".
方法:将源域和目标域的实例映射到新的数据空间。在新的数据空间中,来自两个域的实例是相似的,适合于同一个深度神经网络。
【3】基于网络的迁移学习(finetune)
假设依据:"Neural network is similar to the processing mechanism of the human brain, and it is an iterative and continuous abstraction process. The front-layers of the network can be treated as a feature extractor, and the extracted features are versatile.".
方法:使用在源域预训练的部分网络,包括网络结构和连接参数,迁移到目标域成为深度神经网络的一部分。
【4】基于对抗的迁移学习(finetune)
假设依据:"For effective transfer, good representation should be discriminative for the main learning task and indiscriminate between the source domain and target domain."
方法:找到可迁移的表示,同时适用于源域和目标域。