已有的迁移学习方法大致可以分为三类:
(1)基于样本的迁移学习方法
(2)基于特征的迁移学习方法
(3)基于模型的迁移学习方法
以下分别介绍上述三种类型的迁移学习方法:
1. 基于样本的迁移学习方法
核心思想:从源域数据集中筛选出部分数据,使得筛选出的部分数据与目标数据概率分布近似。
1.1 基于样本选择的方法
假设源域与目标域样本条件分布不同但边缘分布相似,可以根据基于距离度量的方法和基于元学习的方法等方法进行样本选择。
1.2 基于样本权重的方法
假设源域与目标域样本条件分布相似但边缘分布不同,通过概率密度比指导样本权重学习。
2. 基于特征的迁移学习方法
2.1 基于最大均值差异(MMD)的迁移学习方法
将源域与目标域样本映射到可再生和希尔特空间(RKHS),并最小化二者之间的差异。边缘分布的MMD距离可表示为:
条件分布的MMD距离可表示为:
3. 基于模型的迁移学习方法(深度学习)
深度神经网络浅层学习通用特征,深层学习与任务相关的特殊特征。
神经网络迁移性总结:
(1)神经网络的前几层基本都是通用特征,迁移的效果比较好
(2)深度迁移网络中加入微调,效果提升比较大,可能会比原网络效果好
(3)微调可以比较好的克服数据之间的差异性
(4)深度迁移网络要比随机初始化权重效果好
(5)网络层数的迁移可以加速网络的学习和优化