S-Prompts

发表于2025-11-16|更新于2026-03-01|AI多模态增量学习MMCL

|浏览量:

S-Prompts Learning with Pre-trained Transformers: An Occam’s Razor for Domain Incremental Learning

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/AI/43.%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A2%9E%E9%87%8F%E5%AD%A6%E4%B9%A0MMCL/13.S-Prompts/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

AI 多模态增量学习MMCL

相关推荐

多模态类增量学习

0. 摘要持续学习（Continual Learning, CL）旨在帮助深度神经网络在学习新知识的同时保留已学知识。由于其强大的泛化能力，预训练的视觉 - 语言模型（如对比语言 - 图像预训练模型，CLIP）最近作为实用的 CL 候选者受到了广泛关注。然而，预训练与下游 CL 任务之间的领域不匹配通常需要对 CLIP 进行微调。现有的微调方法大多具有确定性，这使得它们忽略了输入模态之间的多种可能交互，并且在需要可靠不确定性估计的高风险任务中显得不安全。为了解决这些问题，我们提出了持续学习与概率微调（CLAP）——一个在每项任务的视觉引导文本特征上进行概率建模的框架，从而提供更校准的 C...

MoE-Adapters4CL

Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters0. 摘要连续学习可以使视觉 - 语言模型不断地获取新知识，无需访问整个历史数据集。然而，由于（i）终身学习过程中参数的偏移和（ii）与全模型调整相关的重大计算负担，减轻大规模模型中的性能退化并非易事。在这项工作中，我们提出了一个参数高效的持续学习框架，以缓解增量学习中视觉 - 语言模型的长期遗忘问题。我们的方法涉及通过集成 Mixture-of-Experts (MoE) 适配器来响应新任务，动态扩展预训练的 CLIP...

Paper 0. 摘要类别增量学习（Class-Incremental Learning, CIL）或持续学习是一种在现实世界中非常需要的能力，它要求学习系统在适应新任务的同时，不遗忘先前的任务。虽然传统的 CIL 方法侧重于通过视觉信息来掌握核心特征，但近年来，视觉语言模型（Vision-Language Models, VLM）的进展展示了在文本信息帮助下学习通用表示的潜力。然而，当持续地引入新类别进行训练时，VLM 往往会遭遇对先前知识的灾难性遗忘。将 VLM 应用于 CIL 提出了两个主要挑战：1）如何在不遗忘的情况下适应模型；2）如何充分利用多模态信息。为此，我们提出了 ...

Recent Advances of Multimodal Continual Learning A Comprehensive Survey

Advancing Cross-domain Discriminability in Continual Learning of Vision-Language Models 0. 摘要持续学习（Continual Learning, CL）与视觉 - 语言模型（Vision-Language Models, VLMs）的结合克服了传统 CL 仅关注已见过类别的限制。在 VLMs 的持续学习过程中，我们不仅需要防止增量学习知识的灾难性遗忘，还需要保持 VLMs 的零样本能力。然而，现有方法需要额外的参考数据集来维持这种零样本能力，并依赖领域标识提示来跨不同领域分类图像。在本研究中，我...