河北住建局与建设厅网站wordpress ghost

河北住建局与建设厅网站,wordpress ghost,注册公司后每年要交什么费用,centos支持wordpress对于刚入门大模型的程序员和技术小白来说#xff0c;常常会有这样的困惑#xff1a;能流畅对话、精准完成任务的大语言模型#xff08;LLM#xff09;#xff0c;到底是怎么一步步“修炼成型”的#xff1f;从最初的预训练模型#xff0c;到能听懂人类指令的实用工具常常会有这样的困惑能流畅对话、精准完成任务的大语言模型LLM到底是怎么一步步“修炼成型”的从最初的预训练模型到能听懂人类指令的实用工具中间的SFT和RL究竟扮演了什么角色本期内容就为你拆解LLM的成长链路用通俗易懂的语言讲清核心原理干货满满建议收藏Part0 前置知识1 大语言模型大语言模型LLM是指使用大量文本数据训练的深度学习模型使得该模型可以生成自然语言文本或理解语言文本的含义。LLM的特点是规模庞大包含数十亿的参数帮助它们学习语言数据中的复杂模式。目前LLM的主流范式是Next Token Prediction(NTP)也就是根据上文的内容推断下个词元token的概率分布并从中抽取下一个词元不断迭代直到生成整个序列。下图就是一个典型的步骤。给定上文“the”大模型会计算出下一个token的概率。如果选择了dog那么现在的上文是the dogLLM继续根据这个求出下一个token的概率分布这样继续下去直到大模型生成一个表示“结束”的token。现在的大语言模型多采用Transformer架构简图如下Transformer的工作流程如下①经过Embedding层每个token根据编号和位置转换为一个d维向量②张量依次经过多个Transformer块在每个块里面张量先经过注意力Attention部分再经过逐位 前馈神经网络FFN部分③最后张量经过线性层解嵌入并经过softmax层生成下个位置为哪个token的概率分布。更详细的介绍可见链接2 大语言模型训练范式目前大语言模型的训练分为三个主要阶段预训练(Pretraining)有监督微调(Supervised Fine-Tuning, SFT)和强化学习(Reinforcement Learning, RL)。在预训练阶段模型的训练目标是Next Token Prediction也就是最大化预测的下一个token正确的概率。为了在预训练过程中模型通常要在海量的数据上进行训练这些数据包括互联网数据(CommonCrawl)、维基百科、书籍、ArXiv论文、GitHub仓库等。GPT-3和The Pile数据集的组成如下预训练阶段后你输入一条提示词模型会无脑根据提示词往后续写因为预训练训练的就是预测下一个词的能力。因此我们需要SFT和RL对模型进行对齐使得模型能够听懂指令完成任务。下图展示了GPT3微调前后的变化。Part1 监督微调 SFT 1.1 SFT概述既然要让模型“听得懂”人类指令并完成指定的任务就需要专门编写各式各样人们在对话中可能询问的问题以及问题的答案。换句话来说SFT就是通过高质量的“指令-回答”数据对训练模型学习遵循指令、进行对话的能力。需要注意的是SFT是激发模型本身遵循指令、思考的能力而不是教会模型新知识后者会引发模型幻觉。1.2 SFT数据以FLAN为例。下图为该数据集的概览和随机样例。可以看到该数据集包含了QA、CoT等多种类型的指令-回答数据对。那SFT数据集到底有多大呢以及通过什么途径获得呢下图是InstructGPT的后训练数据集大小。可以看到在InstructGPT中大部分SFT数据由标注员和试用用户提供要想scale up就需要成倍的人力物力。一个解决方法是Self Instruction也就是让模型生成问题与回答。给定问题生成回答只需要调一下api就能解决但生成有价值的问题存在困难。一个典型的例子是Stanford Alpaca通过“种子指令”(seed)让模型既生成问题又生成答案。种子指令prompt.txt的具体内容见下You are asked to come up with a set of 20 diverse task instructions. These task instructions will be given to a GPT model and we will evaluate the GPT model for completing the instructions.Here are the requirements:1. Try not to repeat the verb for each instruction to maximize diversity.2. The language used for the instruction also should be diverse. For example, you should combine questions with imperative instrucitons.3. The type of instructions should be diverse. The list should include diverse types of tasks like open-ended generation, classification, editing, etc.2. A GPT language model should be able to complete the instruction. For example, do not ask the assistant to create any visual or audio output. For another example, do not ask the assistant to wake you up at 5pm or set a reminder because it cannot perform any action.3. The instructions should be in English.4. The instructions should be 1 to 2 sentences long. Either an imperative sentence or a question is permitted.5. You should generate an appropriate input to the instruction. The input field should contain a specific example provided for the instruction. It should involve realistic data and should not contain simple placeholders. The input should provide substantial content to make the instruction challenging but should ideally not exceed 100 words.6. Not all instructions require input. For example, when a instruction asks about some general information, what is the highest peak in the world, it is not necssary to provide a specific context. In this case, we simply put noinput in the input field.7. The output should be an appropriate response to the instruction and the input. Make sure the output is less than 100 words.List of 20 tasks:1.3 SFT训练方式SFT的训练方法很简单梯度下降。预训练怎么训的SFT就怎么训。所不同的是SFT只需要在Response部分计算loss因为——模型又不学怎么生成prompt只要学会回答就行。为了节省更改的参数量提升泛化性SFT可采用低秩自适应(LoRA)等方法。LoRA的核心思想是将权重更新分解为2个低秩矩阵从而减少更新量。具体实现上LoRA在权重外加了一个LoRA模块下图的A、B使得输出y(WBA)x。其中A用高斯函数初始化B初始化为0。训练时LoRA保持W不变训练A和B以减少计算开销。Part2 强化学习 ( RL )2.0 强化学习介绍强化学习是一种学习如何通过状态选取动作以获得最大奖励的机制。学习者不会被告知要采取哪些动作而是必须通过尝试来发现哪些动作会产生最大的回报。此外动作不仅可以影响直接奖励还可以影响下一个状态并通过下一个状态影响到随后而来的奖励。这两个特征 -试错法和延迟奖励- 是强化学习的两个重要特征。强化学习主要由以下几个核心元素组成状态State反映环境或系统当前的情况。动作Action智能体在特定状态下可以采取的操作。奖励Reward一个数值反馈用于量化智能体采取某一动作后环境的反应。策略Policy一个映射函数指导智能体在特定状态下应采取哪一动作。这四个元素共同构成了马尔可夫决策过程Markov Decision Process, MDP这是强化学习最核心的数学模型。在LM中“状态”指提示词之前生成的token “动作”指下一个token而“策略”指根据上文生成下个token的方法也就是LLM生成过程本身。换句话说SFT是在模仿生成人类回答的可能性概率越高越好而RL训练则是将模型的生成过程作为行动的策略以获得最高奖励。2.1 奖励函数构建我们遇到的第一个问题是“如何构建奖励函数”在数学、编程等可验证性强的领域可以用可验证奖励强化学习RLVR来构建奖励函数。具体来说RLVR通过构建一系列明确的规则来计算最终奖励。该方法可靠性较强但试用场景受限仅限于数学、编程等可验证领域。DeepSeek R1就在部分领域采用了这个方法。对于难以用特定规则的领域则需要训练一个奖励模型(reward model)以判断输出的奖励。常见的范式包括基于人类反馈的强化学习(RLHF)以及基于AI反馈的强化学习(RLAIF)。实践过程中绝对分数很难统一比如一篇英语作文新疆的判卷老师能打到13分而浙江的判卷老师可能只会给11分狗头保命。因此改为让人类或AI标注数据间的相对优劣关系来训练最终的奖励模型。有了相对好坏那么损失函数思路也就出来了让好答案得分高于差答案。一个常见的损失函数是Rank Loss也就是对每对数据最大化好答案与差答案的得分差值其中分别表示一对答案中的提示词、好答案、差答案表示奖励函数而表示sigmoid函数归一化。2.2 策略优化算法真正的重头戏才刚刚开始有了奖励函数该如何优化策略呢2.2.1 策略梯度一个直观的想法**强化学习的目标就是找到那些可能获得更多奖励的动作使它们对应的概率更大。**因此我们定义的最大化目标函数如下其中为Agent产生的状态(s)-动作(a)轨迹代表生成路径的策略代表奖励函数而代表参数为时生成路径的概率这个概率可以拆分成状态转移概率与动作生成概率之积公式如下为了优化模型我们还需要求出梯度也就是计算对的导数将P表示为对数形式后有其中状态转移概率只与环境有关与参数无关。利用轨迹样本对期望进行近似有根据梯度我们可以更新参数上面的方法为策略梯度方法好处是简单直接至少在实现撒行坏处是学习率不合适时策略可能更差。为了评估参数的好坏我们引入一个回报函数2.2.2 TRPO为了让策略单调不减一个直观的想法是把新策略的回报表示为旧策略的回报 加一个其他项。只要保证加的项非负策略的回报函数值就不会减小。TRPO的起点就是以下等式其中优势函数意义为状态s下选择动作a的回报相对与均值的好坏定义如下为了在起点公式中加入策略项我们需要把优势函数的期望做如下转化其中表示在状态s对整个动作空间求和表示对第t步出现的状态求和而表示对整个时间序列求和。定义,则在此基础上TRPO还引入了一下几个技巧1**对状态分布进行处理。**上述等式右边的状态分布仍然依赖未知的、新的策略函数此时在参数改动很小的情况下可以用旧的状态分布近似表示新的状态分布。改进后上面的式子如下2**利用重要性采样对动作分布进行处理。**通过把动作求和换成重要性采样我们可以将右式转换为期望经过以上两步我们用代替了。可以证明二者在旧策略处一阶近似因此在旧策略附近能改善L的策略也能改善η。xi为了更精确地确定改进的步长有如下不等式这个不等式估计了的下界记为。利用这个下界我们可以得到如下单调性因此优化M也能优化η。将“优化M”的目标形式化如下直接用C的迭代步长很小因此可将KL散度项作为限制条件注意到有无穷多的状态因此约束条件有无数多个不可解。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取