天天看点

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

论文下载地址:https://arxiv.org/abs/1808.01974?context=stat.ML

问题:

【1】传统的机器学习方法要求数据满足:训练数据与测试数据独立同分布( independent and identically distributed

(i.i.d.) )。而实际应用中,很多情况不满足这个条件【训练数据:素颜照片,测试数据:美颜照片】。迁移学习放开可这个假设。

【2】深度学习方法依赖于大量的训练数据。一个有趣的现象:一个模型的规模和所需数据样本的数量是呈线性关系。而实际应用中,数据很难获取,耗时耗力。迁移学习可利用充足的源域(source domain)数据来训练模型,在数据不充足的目标域(target domain)获得不错的结果。

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

分类:

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

【1】基于实例的迁移学习

假设依据:"Although there are different between two domains, partial instances in the source domain can

be utilized by the target domain with appropriate weights.".

方法:用特定的权重调整策略,从源域中选择部分实例【图中并集中的源域部分(深蓝色)】,作为目标域训练集的补充,通过给选择的样本分配合适的权重。

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

【2】基于映射的迁移学习

假设依据:"Although there are different between two origin domains, they can be more similarly in an elaborate new data space.".

方法:将源域和目标域的实例映射到新的数据空间。在新的数据空间中,来自两个域的实例是相似的,适合于同一个深度神经网络。

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

【3】基于网络的迁移学习(finetune)

假设依据:"Neural network is similar to the processing mechanism of the human brain, and it is an iterative and continuous abstraction process. The front-layers of the network can be treated as a feature extractor, and the extracted features are versatile.".

方法:使用在源域预训练的部分网络,包括网络结构和连接参数,迁移到目标域成为深度神经网络的一部分。

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

【4】基于对抗的迁移学习(finetune)

假设依据:"For effective transfer, good representation should be discriminative for the main learning task and indiscriminate between the source domain and target domain."

方法:找到可迁移的表示,同时适用于源域和目标域。

迁移学习 A Survey on Deep Transfer Learning- Chuanqi Tan

继续阅读