Recent Advances of Foundation Language Models-based Continual Learning-A Survey

发表于2025-11-16|更新于2026-03-01|大模型大模型持续学习

|浏览量:

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/%E5%A4%A7%E6%A8%A1%E5%9E%8B/06.%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8C%81%E7%BB%AD%E5%AD%A6%E4%B9%A0/02.Recent%20Advances%20of%20Foundation%20Language%20Models-based%20Continual%20Learning-A%20Survey/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

大模型大模型持续学习

相关推荐

Towards Lifelong Learning of Large Language Models A Survey

Continual Learning for Large Language Models A Survey

Prompt Engineering

大模型应用优化路径

提示工程、RAG和微调 - 哪个才是大模型应用优化的最佳路径？在上一篇文章【GitHub Copilot产品经理和微软MVP告诉你：企业是否需要训练自己的代码大模型？- 微软MVP全球峰会纪行】中，我以GitHub Copilot作为案例，和大家分析了企业进行私有化模型训练的6个基本要素。但这其实是一个未完成的话题。企业内部存在大量的私域数据是客观事实，从代码生成角度来看，私有的框架、公用代码组件、内部编码规范、内部接口定义和说明以及内部业务逻辑这些内容客观存在；即便不适合采用私有化训练的方式，我们也必须找到解决这些问题的有效方式。在本篇中，我将延续这个话题和大家聊一聊几个大家在大...

从零训练大模型

【LLM】从零开始训练大模型Author: 何枝 Date: 2023-11-13 Link: https://zhuanlan.zhihu.com/p/636270877 目录收起 1. 预训练阶段（Pretraining Stage） 1.1 Tokenizer Training 1.2 Language Model PreTraining 1.3 数据集清理 1.4 模型效果评测 2. 指令微调阶段（Instruction Tuning Stage） 2.1 Self Instruction 2.2 开源数据集整理 2.3 模型的评测方法 3. 奖励模型（Reward Model...

Token：模型理解和处理的基本单位在 AI 领域，Token 是指模型处理的基本数据单位。它可以是单词、字符、短语甚至图像片段、声音片段等。例如，一句话会被分割成多个 Token，每个标点符号也会被视为单独的 Token。 Token 的划分方式会影响模型对数据的理解和处理。例如，中英文的 Token 划分方式就存在差异。对于中文，由于存在多音字和词组的情况，Token 的划分需要更加细致。为了更好地理解 Token 的概念，让我们来看一个简单的例子。假设我们要将句子今天天气很好进行 Token 化，那么，该句子的 Token 序列可能有以下几种情况，取决于大模型的分词规则、架构以及...