Hongwei Zhao's Blog

基于大模型的智能体(Agent)简介在科技发展的历史中，人类一直期望追求智能化的实现，由此的幻想早已先行，有《机器人总动员》中的瓦力，有《终结者》中的T-800，也有《最后的问题》中的「模」，人们试图打造一种可以自主完成预设目标的代理或实体，即智能体 (AI Agents 或 Agents)，以协助人类完成各种各样繁琐的任务。多年来，智能体作为人工智能一个活跃的应用领域吸引人们不断地研究探索。如今，大语言模型正蓬勃发展，日新月异。在智能体技术的实现上，尤其是在基于大型语言模型（LLM）的智能体构建中，LLM在智能体的智能化中扮演着至关重要的角色。这些智能体能够通过整合LLM与规划、记忆以...

解析大模型中的Scaling Law 在大模型的研发中，通常会有下面一些需求： 计划训练一个10B的模型，想知道至少需要多大的数据？ 收集到了1T的数据，想知道能训练一个多大的模型？ 老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？ 老板对现在10B的模型不满意，想知道扩大到100B模型的效果能提升到多少？ 以上这些问题都可以基于Scaling Law的理论进行回答。本文是阅读了一系列 Scaling Law的文章后的整理和思考，包括Scaling Law的概念和推导以及反Scaling Law的场景，不当之处，欢迎指正。 核心结论大模型...

为什么现在的 LLM 都是 Decoder only 的架构？ 大模型的各种架构 Encoder-Only 架构： 定义与特点：该架构的核心思想是利用神经网络对输入文本进行编码，提取其特征和语义信息，并将编码结果传递给后续的处理模块。它专注于理解和编码输入信息，常用于分类、标注等任务。 优点：具有强大的理解能力，能够有效处理和理解输入数据；同时，其适用性广泛，可适用于多种分析型任务。 缺点：生成能力有限，不擅长自主生成文本或内容。 示例模型：Google 的 BERT Encoder-Decoder 架构： 定义与特点：这种架构通常包含两个主要部分：encoder 和 dec...

数学知识可导：即设$y=f(x)$ 一个单变量函数， 如果$y$ $x=x_0$ 左右导数分别存在且相等,则称$y$ $x=x_0$ 可导。如果一个函数在$x_0$ 可导，那么它一定在$x_0$ 是连续函数。 可微：设函数$y= f(x)$，若自变量在点$x$ 改变量$\Delta x$ 函数相应的改变量$\Delta y$ 关系$\Delta y=A\times \Delta x + O(\Delta x)$，其中$A$ $\Delta x$ 关，则称函数$f(x)$ 点$x$ 微，并称$A\times \Delta x$ 函数$f(x...

ES6 语法ECMAScript 6.0（以下简称 ES6，ECMAScript 是一种由 Ecma 国际(前身为欧洲计算机制造商 协会,英文名称是 European Computer Manufacturers Association)通过 ECMA-262 标准化的脚本 程序设计语言）是 JavaScript 语言的下一代标准，已经在 2015 年 6 月正式发布了，并且 从 ECMAScript 6 开始，开始采用年号来做版本。即 ECMAScript 2015， 就是 ECMAScript6。 它的目标，是使得 JavaScript 语言可以用来编写复杂的大型应用程序，成为企业级...

1.Maven 简介Maven 的本质是一个项目管理工具，将项目开发和管理过程抽象成一个项目对象模型(POM)POM (Project Object Model)：项目对象模型 Maven 的作用： 项目构建：提供标准的、跨平台的自动化项目构建方式 依赖管理：方便快捷的管理项目依赖的资源（jar 包），避免资源间的版本冲突问题 统一开发结构：提供标准的、统一的项目结构 2.Maven 基础概念仓库：用于存储资源，包含各种 jar 包仓库分类：本地仓库和远程仓库（私服和中央仓库） 坐标：Maven 中的坐标用于描述仓库中资源的位置坐标的主要组成：groupId：定义当前 Maven 项...

学习编程其实就是学高级语言，即那些为人类设计的计算机语言。 但是，计算机不理解高级语言，必须通过编译器转成二进制代码，才能运行。学会高级语言，并不等于理解计算机实际的运行步骤。 计算机真正能够理解的是低级语言，它专门用来控制硬件。汇编语言就是低级语言，直接描述/控制 CPU 的运行。如果你想了解 CPU 到底干了些什么，以及代码的运行步骤，就一定要学习汇编语言。 汇编语言不容易学习，就连简明扼要的介绍都很难找到。下面我尝试写一篇最好懂的汇编语言教程，解释 CPU 如何执行代码。 一、汇编语言是什么？我们知道，CPU 只负责计算，本身不具备智能。你输入一条指令（instruc...

软件设计的整体流程 软件需求分析阶段：输出了《软件需求规格说明书》，不涉及具体实现方法。用户能看得明白，开发人员也可据此进行下面的工作，搞清楚“要解决什么问题”。 概要设计阶段：确定软件系统的总体布局，各个子模块的功能和模块间的关系，与外部系统的关系，选择的技术路线。有一些研究与论证性的内容。并输出《软件概要设计说明书》。搞清楚“总体实现方案” 详细设计阶段：对概要设计的进一步细化，一般由各部分的担当人员依据概要设计分别完成，然后在集成，是具体的实现细节。是“程序”的蓝图，确定每个模块采用的算法、数据结构、接口的实现、属性、参数。并输出《软件详细设计说明书》。搞清楚“每个模块怎么做” ...

快捷键Mac 键盘符号说明 ⌘ == Command ⇧ == Shift ⇪ == Caps Lock ⌥ == Option ⌃ == Control ↩ == Return/Enter ⌫ == Delete ⌦ == 向前删除键（Fn+Delete） ↑ == 上箭头 ↓ == 下箭头 ← == 左箭头 → == 右箭头 ⇞ =&#x...

Zotero+坚果云搞定多设备文献管理 文章引用自 少数派-用 Zotero+坚果云搞定多设备文献管理 设备、软件和思路我所用的设备是两台 Windows 10 电脑，一台 iPad mini5。电脑上所用的软件是 Zotero、 坚果云 、任意 pdf 阅读器，iPad 上所用的 app 是 PDF Expert。 我对一个高效的文献管理和阅读方案的期待是： 可以为文献条目添加标签、笔记。在需要时可以根据对文献的记忆，快速筛选和找到文献。 将所有文献的 pdf 文件收纳到同一个路径下，避免重复下载和保存。无论我从何处查阅某一文献，都将打开同一个 pdf 文档。 支持多设备同步。可以...

云平台核心为什么用云平台 环境统一 按需付费 即开即用 稳定性强…… 国内常见云平台：阿里云、百度云、腾讯云、华为云、青云…… 国外常见云平台：亚马逊 AWS、微软 Azure … 公有云 购买云服务商提供的公共服务器。 公有云是最常见的云计算部署类型。公有云资源（例如服务器和存储空间）由第三方云服务提供商拥有和运营，这些资源通过 Internet 提供。在公有云中，所有硬件、软件和其他支持性基础结构均为云提供商所拥有和管理。Microsoft Azure 是公有云的一个示例。在公有云中，你与其他组织或云“租户”共享相同的硬件、存储和网络设备，并且你可以使用 Web 浏览器访问服...

分布式文件系统什么是分布式文件系统 文件系统的定义 文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。 文件系统是负责管...