PRD
Prototype-sample relation distillation: towards replay-free continual learning
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
LwF
Learning without ForgettingLwF算法是基于深度学习的增量学习的里程碑之作，在介绍LwF算法之前，我们先了解一些最简单的增量学习方法。 上图展示了一个具有多头网络结构的模型学习新任务的不同策略，其中(a)为已经训练好的基于CNN的原始模型，$\theta_s$ 示不同任务共享的CNN参数，$\theta_o$ 示与原始任务相关的MLP参数【旧任务的分类器】，当加入一个新的分类任务时，我们可以增加一个随机初始化的MLP参数$\theta_n$【新任务分类器】。基于$\theta_s,\theta_o$ 学习$\theta_n$ 方法包括如下几类： 微调(F...
2025-11-16
l2p
Learning to Prompt for Continual Learning Code | CVPR 2022 大模型译 :arrow_down:0. 摘要在持续学习的背后主流范式是适应模型参数以适应非平稳数据分布，其中灾难性遗忘是核心挑战。典型方法依赖于复现缓冲区或在测试时已知的任务身份来检索学到的知识和解决遗忘问题，而这项工作提出了一种新的持续学习范式，旨在训练一个更简洁的内存系统，在测试时不访问任务身份。我们的方法学会动态提示（L2P）预训练模型，顺序地在不同任务转换下学习任务。在我们的提议框架中，提示是小的可学习参数，它们被维护在内存空间中。目标是优化提示以指导模型预测...
2025-11-16
EWC
Overcoming catastrophic forgetting in neural networks 终身持续学习-可塑权重巩固（Elastic Weight Consolidation） 连续学习之 – Overcoming catastrophic forgetting in neural networks-持续学习EWC代码实现 回过头来梳理了一下EWC方法，在持续终身学习里面很经典的一个方法，Deepmind写的晦涩难懂x，当时折腾了好久才理解。。。。。因为自己有点菜√ 条件和目标论文中，假设存在两个任务A和B (可以推广为旧任务和新任务)，数据集分别为D和D。模型学习完...
2025-11-16
LAE
0. 摘要“预训练 → 下游适应”为持续学习（Continual Learning, CL）带来了新的机遇和挑战。尽管最近的最先进 CL 方法通过参数高效调优（Parameter-Efficient-Tuning, PET）适应范式取得了成功，但仅探索了提示（prompt）方法，限制了其仅适用于 Transformer 模型。本文将提示视为 PET 的一种实例，并提出了一种通用的 PET 持续学习框架，称为学习 - 积累 - 集成（Learning-Accumulation-Ensemble, LAE）。PET（例如使用 Adapter、LoRA 或 Prefix）可以用更少的参数和资源...
2025-11-16
DCMI
Dual-consistency Model Inversion for Non-exemplar Class Incremental Learning Paper | Code | CVPR 2024 0. 摘要非范例类增量学习（NECIL）旨在在历史数据不可用的情况下，不断吸收新知识，同时不忘先前获得的知识。一种生成性 NECIL 方法是反转旧类别的图像进行联合训练。然而，这些合成图像与真实数据相比存在显著的域偏移，妨碍了对旧类别的识别。在本文中，我们提出了一种新的方法，称为双重一致性模型反转（DCMI），通过两个关键的一致性对齐来生成更好的旧类别合成样本：（1）合成图像与相应原...
2025-11-16
FA
Memory-Efficient Incremental Learning Through Feature Adaptation0. 摘要我们提出了一种增量学习的方法，该方法保存了来自先前学习类别的训练图像的特征描述符，而非图像本身，这与大多数现有方法不同。通过保存低维的特征嵌入，可以显著减少内存占用。假设模型会随着新的类别逐步更新，每次仅有新数据可用。这需要在无法访问相应原始训练图像的情况下，将先前存储的特征向量适配到更新后的特征空间。特征适配是通过多层感知机（MLP）学习的，该模型以训练图像上原始网络与更新网络的输出特征对作为训练数据。实验验证表明，这种变换对先前类别的特征具有良好的...