Hongwei Zhao's Blog

iCaRL: Incremental Classifier and Representation LearningAbstract classifiers data representation Introduction 类增量学习算法应满足: it should be trainable from a stream of data in which examples of different classes occur at different times,（可训练） it should at any time provide a competitive multi-clas...

0. 摘要在持续学习（Continual Learning）领域，大量研究致力于通过设计能够应对分布变化的新算法，来克服神经网络的灾难性遗忘问题。然而，这些研究大多仅专注于为“固定的神经网络架构”开发新的算法，并在很大程度上忽略了使用不同架构的影响。即便是少数修改模型的持续学习方法，也假定架构固定，并试图开发一种算法以在整个学习过程中高效利用该模型。 在这项工作中，我们展示了架构选择会显著影响持续学习的性能，不同架构在记住先前任务和学习新任务的能力之间存在不同的权衡。此外，我们研究了各种架构决策的影响，并提出了一些最佳实践和建议，可以改善持续学习的性能。 1. 引言持续学习（C...

Rainbow Memory: Continual Learning with a Memory of Diverse Samples arxiv | CVPR 2021 Code 0.Abstract 本文关注的‘blurry’ task boundary 渐变增量任务（任务间共享类别），过去的类增量持续学习方法中(disjoint)，不同任务中的类别互不交叉 样本的多样性更为重要（diversity of samples） 样本分类不确定性 数据增强 1.IntroductionContributions a new diversity-aware sampling me...

Dual-consistency Model Inversion for Non-exemplar Class Incremental Learning Paper | Code | CVPR 2024 0. 摘要非范例类增量学习（NECIL）旨在在历史数据不可用的情况下，不断吸收新知识，同时不忘先前获得的知识。一种生成性 NECIL 方法是反转旧类别的图像进行联合训练。然而，这些合成图像与真实数据相比存在显著的域偏移，妨碍了对旧类别的识别。在本文中，我们提出了一种新的方法，称为双重一致性模型反转（DCMI），通过两个关键的一致性对齐来生成更好的旧类别合成样本：（1）合成图像与相应原...

Gradient based sample selection for online continual learning

PackNet: Adding Multiple Tasks to a Single Network by Iterative PruningKimi全文翻译 :arrow_down:0. 摘要本文提出了一种将多个任务添加到单个深度神经网络的方法，同时避免了灾难性遗忘。受网络剪枝技术的启发，我们利用大型深度网络中的冗余来释放可以用于学习新任务的参数。通过执行迭代剪枝和网络重新训练，我们能够顺序地将多个任务“打包”到单个网络中，同时确保性能的最小下降和最小的存储开销。与使用代理损失来维持旧任务准确性的先前工作不同，我们始终优化手头的任务。我们在各种网络架构和大规模数据集上进行了广泛的实验，...

DER: Dynamically Expandable Representation for Class Incremental Learning](https://arxiv.org/abs/2103.16788) | CVPR 2021 | Code 0. 摘要我们解决了类别增量学习的问题，这是实现自适应视觉智能的核心步骤。特别是，我们考虑了在有限内存下的增量学习任务设置，旨在实现更好的稳定性与可塑性之间的权衡。为此，我们提出了一种新颖的两阶段学习方法，利用动态可扩展的表示来更有效地建模增量概念。具体来说，在每个增量步骤中，我们冻结先前学习到的表示，并通过一个新的可学习特征提取器...

FOSTER: Feature Boosting and Compression for Class-Incremental Learning | Code 0. 摘要在不断变化的世界中，持续学习新概念的能力是必要的。然而，深度神经网络在学习新类别时会出现灾难性遗忘的问题。许多工作已经提出以缓解这一现象，但大多数方法要么陷入稳定性与可塑性之间的困境，要么需要过多的计算或存储开销。受梯度提升算法的启发，我们提出了一种新的两阶段学习范式 FOSTER，使模型能够自适应地学习新类别。具体来说，我们首先动态扩展新模块以拟合目标模型与原始模型输出之间的残差。接着，我们通过有效的蒸馏策略移除冗...

Learning to Prompt for Continual Learning Code | CVPR 2022 大模型译 :arrow_down:0. 摘要在持续学习的背后主流范式是适应模型参数以适应非平稳数据分布，其中灾难性遗忘是核心挑战。典型方法依赖于复现缓冲区或在测试时已知的任务身份来检索学到的知识和解决遗忘问题，而这项工作提出了一种新的持续学习范式，旨在训练一个更简洁的内存系统，在测试时不访问任务身份。我们的方法学会动态提示（L2P）预训练模型，顺序地在不同任务转换下学习任务。在我们的提议框架中，提示是小的可学习参数，它们被维护在内存空间中。目标是优化提示以指导模型预测...

DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning Code | ECCV 2022 大模型译 :arrow_down:0. 摘要连续学习的目标是使单个模型能够无需灾难性遗忘地学习一系列任务。顶尖的方法通常需要一个复习缓冲区来存储过去的原始样本以进行经验重放，然而，由于隐私和内存限制，这限制了它们的实际价值。在这项工作中，我们提出了一个简单而有效的框架，DualPrompt，它学习一组微小的参数，称为提示（prompts），以正确指导预训练模型顺序学习任务，而不需要缓冲过去的样本。Dual...

0. 摘要计算机视觉模型在学习不断变化的训练数据中的新概念时，会遭受一种称为灾难性遗忘的现象。这种持续学习问题的典型解决方案需要广泛复习以前见过的数据，这增加了内存成本，并且可能违反数据隐私。最近，大规模预训练视觉变换器模型的出现使得提示方法成为数据复述的替代方案。这些方法依赖于关键 - 查询机制来生成提示，并且被发现在免复习的持续学习设置中高度抵抗灾难性遗忘。然而，这些方法的关键机制并没有与任务序列一起端到端训练。我们的实验表明，这导致它们的可塑性降低，因此牺牲了新任务的准确性，并且无法从扩展的参数容量中受益。我们提出学习一组提示组件，这些组件用输入条件权重组装，产生输入条件提示，从而...

Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning 0. 摘要原型（prototype）作为类嵌入的表示，已被探索用于减少内存占用或缓解持续学习场景中的遗忘问题。然而，基于原型的方法仍然会因语义漂移和原型干扰而导致性能急剧下降。在本研究中，我们提出了对比原型提示（Contrastive Prototypical Prompt, CPP），并展示了任务特定的提示调优（prompt-tuning）在对比学习目标的优化下，能够有效解决这两个障碍，并显著提升原型的效力。我们的实验表明，CPP...