课程简介

本课程旨在深入剖析大模型技术的发展脉络，从机器学习源起、小模型到大模型的演进，到GPT与闭源大模型的崛起，以及开源社区的进展，全面展现大模型技术的全貌。同时，课程将结合实践案例，详细讲解大模型的基础技术理解、训练与推理、推理优化以及应用开发等方面的知识，帮助学员掌握大模型应用与开发的核心技能。此外，课程还将关注大模型在研发生产实践中的应用，探讨大模型时代下的研发工序新范式，以及超级开发者的崛起与成长路径，为学员提供前瞻性的行业洞察。

目标收益

培训对象

课程内容

1. 大模型发展脉络
1.1 机器学习源起
1.1.1 机器学习数学基础
1.1.2 ML之分类算法
1.1.3 ML之聚类算法
1.1.4 深度学习时代下的ML算法
1.1.5 注意力机制与Transformer的崛起
1.2 从小模型到大模型
1.2.1 CV图像处理算法
1.2.2 NLP自然语言处理算法
1.2.3 从Bert时代到GPT时代
1.3 GPT与闭源大模型
1.3.1 OpenAI历史回顾
1.3.2 指令学习与强化对齐
1.3.3 从chatGPT到GPT4
1.3.4 从文本到多模态
1.3.5 Claude、Gemini与其余闭源大模型
1.4 开源社区的进展
1.4.1 国外开源大模型概览（llama、Grok、Mistral、Gemma等）
1.4.2 国内开源大模型概览（通义千问、百川、智谱、kimi等）
1.4.3 MoE技术、多模态的崛起
1.5 发展总结与展望
2. 大模型落地实践
2.1大模型基础技术理解
2.1.1 常见大模型介绍与网络结构的统一性
2.1.2 大模型的缩放法则与涌现能力
2.1.3 大模型的基础训练过程（预训练、指令微调、强化学习对齐）
2.1.4 大模型主流预训练框架介绍（Megatron，Deepspeed。。。）
2.1.5 大模型评价体系（数据集与榜单介绍）
2.2 大模型训练与推理（ 以GLM3-6B为例）
2.2.1基础权重准备与推理部署
2.2.2 微调数据集准备
2.2.3 全参数微调与Lora微调（数据构造与超参数设定）
2.2.4 垂类模型微调实践（格式服从案例）
2.3 大模型推理优化
2.3.1 大规模推理成本优化（量化、vLLM并行推理）
2.3.2 检索强化型大模型应用（RAG）
2.3.3 如何针对线上Case修复模型问题
2.3.4 如何利用CoT与Agent机制提升模型效果
2.3.5 大模型安全与风险控制
3. 大模型应用开发
3.1 开发框架介绍
3.1.1 Langchain
3.1.2 Dify 与 Coze
3.1.3 其余典型项目介绍
3.2 框架核心模块入门
3.2.1 基于LLM Chain的工作流实践
3.2.2 模板化输入
3.2.3 框架记忆力机制
3.3 提示词工程的最佳实践
3.3.1 基于结构化prompt
3.3.2 基于CoT的prompt优化
3.3.3 基于RAG的领域能力提升
3.3.4 基于functionCall的专业能力提升
3.3.5 基于ReAct框架协同推理与行动
3.3.6 基于Agent机制强化能力
3.4 RAG模式数据处理流
3.4.1 文档加载器
3.4.2 文档转换器
3.4.3 文档向量化转换模型
3.4.4 向量数据库
3.4.5 检索器Retrievers
3.5 Agent模式构建复杂应用
3.5.1 函数调用能力functionCall
3.5.2 LLM的推理、规划与反思能力
3.5.3 模块设计与原理实现
3.5.4 当前Agent落地的实践
4. 大模型Agent应用构建示例
4.1 基于知识库与图像生成的营销顾问
4.2 基于GPT4v/GLM-4V实现多模态交互
4.3 AgentGPT、AutoGPT 实践与原理拆解
5. 大模型赋能研发生产实践
5.1 大模型时代下的研发工序新范式
5.1.1 需求分析和设计阶段
5.1.2 软件编码与测试阶段
5.1.3 应用发布与维护阶段
5.1.4 软件开发场景大模型应用行业回顾
5.2 当前大模型落地对研发人员的要求与挑战
5.2.1 研发人员的AI应用水平
5.2.2 研发人员的业务理解能力
5.2.3 新技术的敏感度与实践
5.2.4 研发管理者的要求
5.3 超级开发者的崛起与成长路径
5.3.1 大模型时代下的全栈工程师
5.3.2 业务理解与需求分析的全栈化
5.3.3 领域特点与模块化认知
5.3.4 演进式架构设计
5.3.5 端到端研发交付全流程
5.3.6 开发者的成长路径（人人都是开发者）
5.4 软件提示工程场景应用与实战
5.4.1 提示词工程回顾（Prompt Engineering）
5.4.1 代码生成部分：text2SQL、Text2Python
5.4.2 Bug检测与修复部分：Bugfix、Explain
5.4.3 流程提效部分：产品实践与技术知识问答
5.5 构建大模型时代下的软件研发组织
5.5.1 模型适配&开放框架选型& 场景应用适配
5.5.2 基于人与AI系统的流程实践
5.5.3 研发数据资产和知识管理
5.5.4 数据隐私保护与安全合规
5.5.5 专业能力与组织分工演进