迁移学习
迁移学习（Transfer Learning）根据 领域 和 任务的相似性，可以这样划分：
根据 源Domain和目前Domain 之间的关系，源Task 和 目标Task之间的关系，以及任务方法更详细的整理为下表：
| 学习类型 | 源Domain & 目标Domain | 源Task & 目标Task | 源Data & 目标Data | 任务方法 |
|---|---|---|---|---|
| 传统机器学习 | 相同 | 相同 | 有标签 | 有标签 | |
| 归纳式迁移学习 | 相同/相关 | 相关 | 多任务学习 - 有标签 | 有标签 | 分类回归 |
| 自我学习 - 无标签 | 有标签 | ||||
| 直推式迁移学习 | 相关 | 相同 | 有标签 | 无标签 | 分类回归 |
| 无监督迁移学习 | 相关 | 相关 | 无标签 | 无标签 | 聚类降维 |
实际上，归纳式迁移学习 是应用最广泛的一种方法，从这点上看，迁移学习更适合 有标签的应用域。根据技术方法，我们将迁移学习的方法划分为：
| 说明 | 归纳式 | 直推式 | 无监督 | |
|---|---|---|---|---|
| 基于样本的迁移学习 | 通过调整源Domain的标签（辅助）和目标Domain标签的权重，协同训练得到目标模型。典型方法：TrAdaBoost | √ | √ | |
| 基于特征的迁移学习 | 找到“好”特征来减少源Domain和目标Domain之间的不同，能够降低分类、回归误差。典型方法：Self-taught learning, multi-task structure learning | √ | √ | √ |
| 基于参数的迁移学习 | 发现源Domain和目标Domain之间的共享参数或先验关系。典型方法：Learning to learn, Regularized multi-task learning | √ | ||
| 基于相关性的迁移学习 | 建立源Domain和目标Domain之间的相关知识映射。典型方法：Mapping方法 | √ |
References
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
基于样本的迁移学习
样本权重迁移法 样本权重迁移法。此类方法学习目标是学习源域样本的权重 $v_i$。 特征变换迁移法。此类方法对应于 $v_{i}=1, \forall i$，目标是学习一个特征变换 $T$ 来减小正则化项 $R(\cdot, \cdot)$。 模型预训练迁移法。此类方法对应于 $v_{i}=1, \forall i, R(T(\mathcal{D}{s}), T(\mathcal{D}{t})) := R(\mathcal{D}{t}; f{s})$。在此种方法下，目标是如何将源域的判别函数 $f_s$ 对目标域数据进行正则化和微调。
2025-11-16
基于相关性的迁移学习
2025-11-16
模型预训练迁移法
模型预训练迁移法第三种比较常用的方法则是模型预训练迁移法。也就是说，如果已经有一个在源域上训练好的模型 $f_{s}$，并且目标域本身有一些可供学习的有标签数据，则可以直接将 $f$ 应用于目标域上，再进行微调。此时可以重点关注在微调过程中目标域的情况，而不用额外考虑迁移正则化项（或者一并考虑）。这种预训练 - 微调（Pretrain-finetune）的模式，已被广泛应用于计算机视觉（如 ImageNet 上预训练模型）、自然语言处理（Transformer、BERT）等领域。
2025-11-16
基于特征的迁移学习
特征变换迁移法 目标是：如何求解特征变换 $T$，使得特征变化后的源域和目标域的概率分布差异达到最小。 如何求解这样的特征变换？我们将特征变换法大致分为两大类别：统计特征变换和几何特征变换。其中，统计特征变换的目标是通过显式最小化源域和目标域的分布差异来进行求解；而几何特征变换的目标则是从几何分布出发，隐式地最小化二者的分布差异。 从生成对抗网络的观点来看，网络中的判别器用来判断数据来自真实图像还是噪声，当其无法分别真实图像和噪声产生的图像时，我们认为判别器学习到了领域不变的特征。这种判别器可以被看成一种隐式距离。
2025-11-16
基于参数的迁移学习
2025-11-16
领域自适应和领域泛化
Domain Generalization | 域适应、域泛化、OOD、开放集问题定义 在实际场景中，训练集和测试集往往存在分布差异，导致模型不work。领域自适应是解决这类问题的一种方法，但是它需要测试数据的一些先验知识。但是很多时候，在测试数据到来前我们往往对它们是一无所知的，因此近年来很多人开始考虑一种更有实际意义的研究场景，也就是领域泛化。 下面我们先就来梳理一下领域自适应（Domain Adaptation, DA），领域泛化（Domain Generalization, DG），分布外泛化（Out-of-Distribution Generalization, OODG）...