BiC
Large scale incremental learning
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
LwF
Learning without ForgettingLwF算法是基于深度学习的增量学习的里程碑之作，在介绍LwF算法之前，我们先了解一些最简单的增量学习方法。 上图展示了一个具有多头网络结构的模型学习新任务的不同策略，其中(a)为已经训练好的基于CNN的原始模型，$\theta_s$ 示不同任务共享的CNN参数，$\theta_o$ 示与原始任务相关的MLP参数【旧任务的分类器】，当加入一个新的分类任务时，我们可以增加一个随机初始化的MLP参数$\theta_n$【新任务分类器】。基于$\theta_s,\theta_o$ 学习$\theta_n$ 方法包括如下几类： 微调(F...
2025-11-16
RKR
2025-11-16
Continual Learning with Pre-Trained Models A Survey
0. 摘要在当今世界的应用中，经常面临流数据，这要求学习系统随着数据的演变而吸收新知识。持续学习（Continual Learning, CL）旨在实现这一目标，并同时克服在学习新知识时对以前知识的巨大遗忘。典型的CL方法从零开始构建模型以适应新数据。然而，随着预训练模型（Pre-Trained Models, PTM）时代的来临，在利用PTMs的强大表示能力进行CL方面激发了巨大的研究兴趣。本文综述了基于PTM的CL的最新进展。我们将现有方法分为三个不同的组，并提供了它们之间的相似性、差异性以及各自的优势和劣势的比较分析。此外，我们提供了一个实证研究，比较了各种最先进方法，突出了比较中...
2025-11-16
类增量学习综述
基于 Class-Incremental Learning: A Survey Data Data Replay Direct Replay Generative Replay Data Regularization 基于回放的增量学习的基本思想就是”温故而知新”，在训练新任务时，一部分具有代表性的旧数据会被保留并用于模型复习曾经学到的旧知识，因此要保留旧任务的哪部分数据，以及如何利用旧数据与新数据一起训练模型，就是这类方法需要考虑的主要问题。 Direct ReplayGenerative ReplayData RegularizationModel Dyna...
2025-11-16
PILoRA
0. 摘要现有的联邦学习方法在涉及数据隐私和非独立同分布（Non-IID）数据的场景中，已经有效地处理了去中心化学习问题。然而，在实际情况下，每个客户端动态学习新类，要求全局模型能够对所有已见类别进行分类。为了在低通信成本下有效缓解灾难性遗忘和数据异质性问题，我们提出了一种简单而有效的方法，称为 PILoRA。一方面，我们采用原型学习来学习更好的特征表示，并利用原型与类别特征之间的启发式信息设计了一个原型重加权模块，以解决由数据异质性引起的分类器偏差，而无需重新训练分类器。另一方面，我们将增量学习视为学习不同任务向量的过程，并将其编码在不同的 LoRA 参数中。因此，我们提出了增量 Lo...
2025-11-16
CPP
Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning 0. 摘要原型（prototype）作为类嵌入的表示，已被探索用于减少内存占用或缓解持续学习场景中的遗忘问题。然而，基于原型的方法仍然会因语义漂移和原型干扰而导致性能急剧下降。在本研究中，我们提出了对比原型提示（Contrastive Prototypical Prompt, CPP），并展示了任务特定的提示调优（prompt-tuning）在对比学习目标的优化下，能够有效解决这两个障碍，并显著提升原型的效力。我们的实验表明，CPP...
