Towards Lifelong Learning of Large Language Models A Survey

发表于2025-11-16|更新于2026-03-01|大模型大模型持续学习

|浏览量:

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/%E5%A4%A7%E6%A8%A1%E5%9E%8B/06.%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8C%81%E7%BB%AD%E5%AD%A6%E4%B9%A0/01.Towards%20Lifelong%20Learning%20of%20Large%20Language%20Models%20A%20Survey/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

大模型大模型持续学习

相关推荐

Recent Advances of Foundation Language Models-based Continual Learning-A Survey

Continual Learning for Large Language Models A Survey

分词语言模型 $p$ 是建立在词元（token）序列的上的一个概率分布输出，其中每个词元来自某个词汇表$V$，如下的形式。 1[the, mouse, ate, the, cheese] Tips: 词元(token)一般在NLP（自然语言处理）中来说，通常指的是一个文本序列中的最小单元，可以是单词、标点符号、数字、符号或其他类型的语言元素。通常，对于NLP任务，文本序列会被分解为一系列的tokens，以便进行分析、理解或处理。在英文中一个”token”可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为token（这其中就包含一些字符串分词的差异性，将在后续内容中讲到）...

Token：模型理解和处理的基本单位在 AI 领域，Token 是指模型处理的基本数据单位。它可以是单词、字符、短语甚至图像片段、声音片段等。例如，一句话会被分割成多个 Token，每个标点符号也会被视为单独的 Token。 Token 的划分方式会影响模型对数据的理解和处理。例如，中英文的 Token 划分方式就存在差异。对于中文，由于存在多音字和词组的情况，Token 的划分需要更加细致。为了更好地理解 Token 的概念，让我们来看一个简单的例子。假设我们要将句子今天天气很好进行 Token 化，那么，该句子的 Token 序列可能有以下几种情况，取决于大模型的分词规则、架构以及...

从零训练大模型

【LLM】从零开始训练大模型Author: 何枝 Date: 2023-11-13 Link: https://zhuanlan.zhihu.com/p/636270877 目录收起 1. 预训练阶段（Pretraining Stage） 1.1 Tokenizer Training 1.2 Language Model PreTraining 1.3 数据集清理 1.4 模型效果评测 2. 指令微调阶段（Instruction Tuning Stage） 2.1 Self Instruction 2.2 开源数据集整理 2.3 模型的评测方法 3. 奖励模型（Reward Model...

FastApi 部署调用

环境准备本文基础环境如下： 123456----------------ubuntu 22.04python 3.12cuda 12.1pytorch 2.3.0---------------- 本文默认学习者已安装好以上 Pytorch(cuda) 环境，如未安装请自行安装。首先 pip 换源加速下载并安装依赖包 123456789101112# 升级pippython -m pip install --upgrade pip# 更换 pypi 源加速库的安装pip config set global.index-url https://pypi.tuna.tsinghua.ed...