Recent Advances of Multimodal Continual Learning A Comprehensive Survey

发表于2025-11-16|更新于2026-03-01|AI多模态增量学习MMCLSurvey

|浏览量:

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/AI/43.%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A2%9E%E9%87%8F%E5%AD%A6%E4%B9%A0MMCL/00.Survey/02.Recent%20Advances%20of%20Multimodal%20Continual%20Learning%20A%20Comprehensive%20Survey/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

AI 多模态增量学习MMCL Survey

相关推荐

多模态类增量学习

When Continue Learning Meets Multimodal Large Language Model A Survey

无监督类增量学习

半监督增量学习首先，让我们先学习下半监督式的增量学习，其旨在通过利用未标记的数据来减少对标签的依赖。常规的做法是先利用一小部分带有标签的数据集训练出一个深度学习模型，然后利用该模型对未标记的数据打上标签。通常，我们将这种用非人工标注的标签信息称之为——伪标签(pseudo labels)。因此，根据未标记数据的类型，我们可以简单的划分为三种类型： Within-data，即属于同一份数据集内的没有打标签的那部分数据； Auxiliary-data，即辅助数据，例如大家从网络上爬下来的数据； Test-data，即最简单的测试集数据其中，Within-data 需要模型从头开始训练...

Paper | Code | CVPR 2024 ChatGPT全文翻译 :arrow_down:0. 摘要在类别增量学习（CIL）场景中，由于分类器对当前任务的偏倚而导致的灾难性遗忘现象一直是一个重大挑战。这主要是由判别模型的特性引起的。随着生成多模态模型的流行，我们探索用生成模型替代判别模型来应对 CIL。然而，从判别模型过渡到生成模型需要解决两个关键挑战。主要挑战在于将生成的文本信息转化为不同类别的分类任务。此外，还需要在生成框架内制定 CIL 任务。为此，我们提出了一种新颖的用于类别增量学习的生成多模态模型（GMM）框架。我们的方法直接使用经过调整的生成模型为图像生成标签。在...

0. 摘要类增量学习是一个具有挑战性的问题，其目标是训练一个能够随着时间的推移分类越来越多类数据的模型。随着视觉语言预训练模型（如 CLIP）的发展，这些模型展示了良好的泛化能力，使其在完全冻结参数的情况下在类增量学习中表现出色。然而，通过简单地微调模型来进一步适应下游任务会导致严重的遗忘。大多数现有的预训练模型工作假设当模型获取新知识时，旧类别的遗忘是均匀的。在本文中，我们提出了一种名为自适应表示调整和参数融合（RAPF）的方法。在训练新数据时，我们测量新类别对旧类别的影响，并使用文本特征调整表示。训练完成后，我们采用分解的参数融合来进一步减轻适配器模块微调期间的遗忘。在多个常规基准测...

Continual Learning With Knowledge Distillation A Survey

0. 摘要持续学习中的首要挑战是缓解灾难性遗忘，使模型在学习新任务的同时保留对先前任务的知识。知识蒸馏（KD）作为一种正则化方法，因其在学习新任务时通过模仿早期模型的输出来保持模型在先前任务上的性能而受到广泛关注，从而减少遗忘。本文对图像分类领域中采用 KD 的持续学习方法进行了全面调查。我们详细分析了 KD 在持续学习方法中的应用，并将其应用分为三种不同的范式。此外，我们根据所使用的知识源类型对这些方法进行了分类，并从损失函数的角度深入探讨了 KD 如何巩固持续学习中的记忆。我们还通过在 CIFAR-100、TinyImageNet 和 ImageNet-100 数据集上对十种集成 K...