基于样本的迁移学习

发表于2025-11-16|更新于2026-03-01|AI迁移学习

|浏览量:

样本权重迁移法

样本权重迁移法。此类方法学习目标是学习源域样本的权重 $v_i$。
特征变换迁移法。此类方法对应于 $v_{i}=1, \forall i$，目标是学习一个特征变换 $T$ 来减小正则化项 $R(\cdot, \cdot)$。
模型预训练迁移法。此类方法对应于 $v_{i}=1, \forall i, R(T(\mathcal{D}{s}), T(\mathcal{D}{t})) := R(\mathcal{D}{t}; f{s})$。在此种方法下，目标是如何将源域的判别函数 $f_s$ 对目标域数据进行正则化和微调。

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/AI/17.%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0/03.%E5%9F%BA%E4%BA%8E%E6%A0%B7%E6%9C%AC%E7%9A%84%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

AI 迁移学习

相关推荐

基于特征的迁移学习

特征变换迁移法目标是：如何求解特征变换 $T$，使得特征变化后的源域和目标域的概率分布差异达到最小。如何求解这样的特征变换？我们将特征变换法大致分为两大类别：统计特征变换和几何特征变换。其中，统计特征变换的目标是通过显式最小化源域和目标域的分布差异来进行求解；而几何特征变换的目标则是从几何分布出发，隐式地最小化二者的分布差异。从生成对抗网络的观点来看，网络中的判别器用来判断数据来自真实图像还是噪声，当其无法分别真实图像和噪声产生的图像时，我们认为判别器学习到了领域不变的特征。这种判别器可以被看成一种隐式距离。

模型预训练迁移法

模型预训练迁移法第三种比较常用的方法则是模型预训练迁移法。也就是说，如果已经有一个在源域上训练好的模型 $f_{s}$，并且目标域本身有一些可供学习的有标签数据，则可以直接将 $f$ 应用于目标域上，再进行微调。此时可以重点关注在微调过程中目标域的情况，而不用额外考虑迁移正则化项（或者一并考虑）。这种预训练 - 微调（Pretrain-finetune）的模式，已被广泛应用于计算机视觉（如 ImageNet 上预训练模型）、自然语言处理（Transformer、BERT）等领域。

迁移学习（Transfer Learning）根据领域和任务的相似性，可以这样划分：根据源Domain和目前Domain 之间的关系，源Task 和目标Task之间的关系，以及任务方法更详细的整理为下表：学习类型源Domain & 目标Domain 源Task & 目标Task 源Data & 目标Data 任务方法传统机器学习相同相同有标签 | 有标签归纳式迁移学习相同/相关相关多任务学习 - 有标签 | 有标签分类回归自我学习 - 无标签 | 有标签直推式迁移学习相关相同...

基于参数的迁移学习

领域自适应和领域泛化

Domain Generalization | 域适应、域泛化、OOD、开放集问题定义在实际场景中，训练集和测试集往往存在分布差异，导致模型不work。领域自适应是解决这类问题的一种方法，但是它需要测试数据的一些先验知识。但是很多时候，在测试数据到来前我们往往对它们是一无所知的，因此近年来很多人开始考虑一种更有实际意义的研究场景，也就是领域泛化。下面我们先就来梳理一下领域自适应（Domain Adaptation, DA），领域泛化（Domain Generalization, DG），分布外泛化（Out-of-Distribution Generalization, OODG）...

基于相关性的迁移学习