GBSS
Gradient based sample selection for online continual learning
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
Recent Advances of Foundation Language Models-based Continual Learning-A Survey
0. 摘要近期，在自然语言处理（NLP）和计算机视觉（CV）领域，基础语言模型（LMs）取得了显著成就。与传統神经网络模型不同，基础LMs通过在大量无监督数据集上进行预训练，获得了丰富的常识知识，并通过大量参数获得了巨大的迁移学习能力。然而，由于灾难性遗忘，它们仍无法模拟类似人类的持续学习能力。因此，开发了各种基于持续学习（CL）的方法来改进LMs，使它们能够在不遗忘以前知识的情况下适应新任务。然而，目前还缺乏现有方法的系统分类和性能比较，这正是我们的综述旨在填补的空白。我们深入进行了全面的回顾、总结和分类，对应用于基础语言模型的基于CL的方法进行了研究，如预训练语言模型（PLMs）、大...
2025-11-16
DYSON
0. 摘要本文聚焦于一个具有挑战性的问题——在线任务无关的类增量学习（OTFCIL）。与现有方法从数据流中持续学习特征空间不同，我们提出了一种新的计算 - 对齐范式。该范式首先为现有类计算一个最优几何结构（即类原型分布），并在新类出现时更新它，然后通过将深度神经网络模型的特征空间与最优几何结构对齐来进行训练。为此，我们开发了一种新的动态神经坍缩（DNC）算法来计算和更新最优几何结构。DNC 在新类出现时扩展几何结构而不损失其最优性，并确保旧类原型的漂移距离具有明确的上界。在此基础上，我们提出了一种新的动态特征空间自组织（DYSON）方法，包含三个主要组件：1）特征提取器，2）动态特征 -...
2025-11-16
FA
Memory-Efficient Incremental Learning Through Feature Adaptation0. 摘要我们提出了一种增量学习的方法，该方法保存了来自先前学习类别的训练图像的特征描述符，而非图像本身，这与大多数现有方法不同。通过保存低维的特征嵌入，可以显著减少内存占用。假设模型会随着新的类别逐步更新，每次仅有新数据可用。这需要在无法访问相应原始训练图像的情况下，将先前存储的特征向量适配到更新后的特征空间。特征适配是通过多层感知机（MLP）学习的，该模型以训练图像上原始网络与更新网络的输出特征对作为训练数据。实验验证表明，这种变换对先前类别的特征具有良好的...
2025-11-16
PackNet
PackNet: Adding Multiple Tasks to a Single Network by Iterative PruningKimi全文翻译 :arrow_down:0. 摘要本文提出了一种将多个任务添加到单个深度神经网络的方法，同时避免了灾难性遗忘。受网络剪枝技术的启发，我们利用大型深度网络中的冗余来释放可以用于学习新任务的参数。通过执行迭代剪枝和网络重新训练，我们能够顺序地将多个任务“打包”到单个网络中，同时确保性能的最小下降和最小的存储开销。与使用代理损失来维持旧任务准确性的先前工作不同，我们始终优化手头的任务。我们在各种网络架构和大规模数据集上进行了广泛的实验，...
2025-11-16
WA
Maintaining discrimination and fairness in class incremental learning
2025-11-16
LwF
Learning without ForgettingLwF算法是基于深度学习的增量学习的里程碑之作，在介绍LwF算法之前，我们先了解一些最简单的增量学习方法。 上图展示了一个具有多头网络结构的模型学习新任务的不同策略，其中(a)为已经训练好的基于CNN的原始模型，$\theta_s$ 示不同任务共享的CNN参数，$\theta_o$ 示与原始任务相关的MLP参数【旧任务的分类器】，当加入一个新的分类任务时，我们可以增加一个随机初始化的MLP参数$\theta_n$【新任务分类器】。基于$\theta_s,\theta_o$ 学习$\theta_n$ 方法包括如下几类： 微调(F...