Hongwei Zhao's Blog

Paper 0. 摘要类别增量学习（Class-Incremental Learning, CIL）或持续学习是一种在现实世界中非常需要的能力，它要求学习系统在适应新任务的同时，不遗忘先前的任务。虽然传统的 CIL 方法侧重于通过视觉信息来掌握核心特征，但近年来，视觉语言模型（Vision-Language Models, VLM）的进展展示了在文本信息帮助下学习通用表示的潜力。然而，当持续地引入新类别进行训练时，VLM 往往会遭遇对先前知识的灾难性遗忘。将 VLM 应用于 CIL 提出了两个主要挑战：1）如何在不遗忘的情况下适应模型；2）如何充分利用多模态信息。为此，我们提出了 ...

Paper | Code | CVPR 2024 ChatGPT全文翻译 :arrow_down:0. 摘要在类别增量学习（CIL）场景中，由于分类器对当前任务的偏倚而导致的灾难性遗忘现象一直是一个重大挑战。这主要是由判别模型的特性引起的。随着生成多模态模型的流行，我们探索用生成模型替代判别模型来应对 CIL。然而，从判别模型过渡到生成模型需要解决两个关键挑战。主要挑战在于将生成的文本信息转化为不同类别的分类任务。此外，还需要在生成框架内制定 CIL 任务。为此，我们提出了一种新颖的用于类别增量学习的生成多模态模型（GMM）框架。我们的方法直接使用经过调整的生成模型为图像生成标签。在...

0. 摘要少样本类增量学习（Few-Shot Class-Incremental Learning，FSCIL）模型旨在在保留旧类知识的同时，利用稀缺样本逐步学习新类别。现有的 FSCIL 方法通常对整个骨干网络进行微调，导致过拟合，从而阻碍新类的学习潜力。另一方面，近年来的基于提示（prompt）的 CIL 方法在每个任务中利用充足的数据训练提示，从而缓解遗忘问题。 在本工作中，我们提出了一种新颖的框架，称为“注意力感知自适应提示（Attention-aware Self-adaptive Prompt，ASP）”。ASP 通过从注意力机制角度减少特定信息，鼓励任务无关提示捕捉共享知识...

ChatGPT全文翻译 :arrow_down:0. 摘要持续学习旨在随着时间的推移学习新任务而不遗忘之前的任务。文献中报告了多项重大努力，以在有限或无法访问以前任务数据的情况下解决这一问题。在这些努力中，典型的解决方案提供了复杂的技术，包括记忆重放、知识蒸馏、模型正则化和动态网络扩展。由此产生的方法在每个学习任务中都有重新训练的成本、专用的内存需求和特定设置的设计选择。在这项工作中，我们展示了一个冻结的 CLIP（对比语言 - 图像预训练）模型在不进行任何微调（零样本评估）的情况下，提供了惊人的持续学习性能。我们在包括类增量、域增量和任务无关增量学习的各种设置下，在五个流行基准（Ima...

Advancing Cross-domain Discriminability in Continual Learning of Vision-Language Models 0. 摘要持续学习（Continual Learning, CL）与视觉 - 语言模型（Vision-Language Models, VLMs）的结合克服了传统 CL 仅关注已见过类别的限制。在 VLMs 的持续学习过程中，我们不仅需要防止增量学习知识的灾难性遗忘，还需要保持 VLMs 的零样本能力。然而，现有方法需要额外的参考数据集来维持这种零样本能力，并依赖领域标识提示来跨不同领域分类图像。在本研究中，我...

0. 摘要类增量学习是一个具有挑战性的问题，其目标是训练一个能够随着时间的推移分类越来越多类数据的模型。随着视觉语言预训练模型（如 CLIP）的发展，这些模型展示了良好的泛化能力，使其在完全冻结参数的情况下在类增量学习中表现出色。然而，通过简单地微调模型来进一步适应下游任务会导致严重的遗忘。大多数现有的预训练模型工作假设当模型获取新知识时，旧类别的遗忘是均匀的。在本文中，我们提出了一种名为自适应表示调整和参数融合（RAPF）的方法。在训练新数据时，我们测量新类别对旧类别的影响，并使用文本特征调整表示。训练完成后，我们采用分解的参数融合来进一步减轻适配器模块微调期间的遗忘。在多个常规基准测...

0. 摘要持续学习（Continual Learning, CL）旨在帮助深度神经网络在学习新知识的同时保留已学知识。由于其强大的泛化能力，预训练的视觉 - 语言模型（如对比语言 - 图像预训练模型，CLIP）最近作为实用的 CL 候选者受到了广泛关注。然而，预训练与下游 CL 任务之间的领域不匹配通常需要对 CLIP 进行微调。现有的微调方法大多具有确定性，这使得它们忽略了输入模态之间的多种可能交互，并且在需要可靠不确定性估计的高风险任务中显得不安全。为了解决这些问题，我们提出了持续学习与概率微调（CLAP）——一个在每项任务的视觉引导文本特征上进行概率建模的框架，从而提供更校准的 C...

Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters0. 摘要连续学习可以使视觉 - 语言模型不断地获取新知识，无需访问整个历史数据集。然而，由于（i）终身学习过程中参数的偏移和（ii）与全模型调整相关的重大计算负担，减轻大规模模型中的性能退化并非易事。在这项工作中，我们提出了一个参数高效的持续学习框架，以缓解增量学习中视觉 - 语言模型的长期遗忘问题。我们的方法涉及通过集成 Mixture-of-Experts (MoE) 适配器来响应新任务，动态扩展预训练的 CLIP...

S-Prompts Learning with Pre-trained Transformers: An Occam’s Razor for Domain Incremental Learning

Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning0. 摘要在我们的不断变化的世界中，新数据呈现出长尾分布，例如不同类别的新图像数量不同。这就需要在不遗忘的情况下持续对不平衡数据进行模型学习，解决长尾类别增量学习（LTCIL）的挑战。现有方法通常依赖于用以前数据重新训练线性分类器，这在现实世界设置中是不切实际的。在本文中，我们利用预训练模型的强大表示能力，引入了自适应适配器路由（Apart）作为 LTCIL 的无样本解决方案。为了对抗遗忘，我们训练插入的适配器，冻结预训练的权重以进行更深入的适应，并在顺序...

0. 摘要域增量学习（Domain-Incremental Learning, DIL）涉及模型在不同域中逐步适应新概念。尽管预训练模型的最新进展为 DIL 提供了坚实的基础，但学习新概念通常会导致预训练知识的灾难性遗忘。具体来说，顺序模型更新可能会用来自最新域的知识覆盖表示和分类器。因此，开发一种在学习过程中适应所有已见域的表示和相应的分类器至关重要。为此，我们提出了双重巩固（DUal ConsolidaTion, DUCT），以在表示和分类器两个层面统一和巩固历史知识。通过合并不同阶段的主干网络，我们创建了一个适合多域增量学习的表示空间。合并后的表示作为一个平衡的中间体，捕捉了所有已...

全文翻译 prompt未能实现全文无遗漏翻译，翻译内容经常被简化 Prompt: 这是一篇学术论文，请帮我逐句翻译，不得省略内容，不得概括内容。要求：1、摘要、引言等标记为二级标题，并用序号进行标记，例如 “## 0. 摘要”，二 三 四 级标题前后添加空行。2、公式要用 latex，如果公式有编号，则翻译内容也要添加相应的编号，标号用\tag{}表示。3、参考文献不用翻译。4、如有附录，需要翻译。 细读论文 对论文进行详细分析，并在分析报告中包括以下关键方面，可以增加二级标题，二级标题要添加序号。 研究背景与动机请描述该论文主要解决的问题是什么，明确指出研究的背景、研究动机以...