课程简介
本课程从AI大模型基础知识出发，系统讲解Transformer架构、大模型权重内部结构、RAG和Agent应用技术架构等核心内容，并通过从零实现大模型示例、开发RAG/Agent/SpringAI应用等实操环节，帮助学员深入理解AI大模型的技术原理和应用开发。
课程重点讲解AI大模型应用的非功能能力评估方法，包括关键参数与指标分析、应用监控、SSE协议性能测试难点，以及如何使用AI大模型推理评估工具（GuideLLM、EvalScope、LM-Evaluation-Harness）进行性能评估。
课程提供完整的实操演示，包括编写性能测试智能体/工作流，设计并实现AI大模型压力测试工具（涵盖流式响应处理、性能指标计算、多线程并发测试、实时统计汇总等核心功能），以及传统压测工具在AI大模型场景下的使用方式和局限性分析。
课程还讲解AI大模型应用架构优化方案，包括模型微调优化策略（PEFT、梯度优化、数据优化、训练配置优化等）和模型推理优化策略（量化技术、注意力机制优化、批处理与并发优化、缓存策略等），并提供不同场景下的优化方案组合推荐和实施指南。
目标收益
通过本课程的学习，使用AI大模型的技术栈带领学员具体操作，让学员掌握AI大模型应用的非功能评估技术。
培训对象
此课程适合于IT项目经理、AI应用开发工程师、AI应用架构工程师、AI应用性能分析工程师、AI应用性能测试工程师、AI应用运维人员
课程大纲
| AI大模型概述 |
1.AI发展史 1.1.1.早期阶段（1950s-1970s） 1.1.2.知识工程时代（1970s-1980s） 1.1.3.机器学习兴起（1980s-1990s） 1.1.4.深度学习突破（2000s-2010s） 1.1.5.大模型时代（2010s至今） |
| AI大模型基础知识 |
2.基础概念 2.1.1.人工智能/机器学习/深度学习/AI大模型 2.1.2.FNN/RNN/CNN/GNN/GAN/Diffusion 2.1.3.Transformer 2.1.4.大型语言模型LLM 2.1.5.提示词工程 2.1.6.量化 3.Transformer架构解析 3.1.1.词嵌入/词元嵌入 3.1.2.位置编码 3.1.3.重复的Transformer块 3.1.4.多头注意力机制（QKV/多头/掩码/输出) 3.1.5.多层感知器MLP 3.1.6.输出逻辑值（概率/温度/Top-K/Top-P) 3.1.7.残差连接 3.1.8.层归一化 3.1.9.Dropout |
|
从零实现大模型示例 （提供完整的示例代码） （实操演示成果） |
4.项目介绍 5.环境准备 6.项目结构 7.核心代码实现 7.1.1.配置文件 7.1.2.数据处理模块 7.1.3.模型架构 7.1.4.训练脚本 7.1.5.推理脚本 8.完整训练流程 8.1.1.环境准备 8.1.2.数据准备 8.1.3.配置设置 8.1.4.模型训练 8.1.5.模型评估 8.1.6.模型保存 8.1.7.模型推理 8.1.8.模型分析 9.进阶优化 |
| AI大模型权重内部架构 |
10.编写脚本查看权重文件内部结构 11.权重文件架构解析 11.1.1.DeepSeek系列/Qwen系列 11.1.1.1.配置信息 11.1.1.2.架构类型 11.1.1.3.模型详细参数 11.1.1.4.架构特征分析 |
| AI大模型应用技术架构解析 |
12.常见的RAG技术架构 13.常见的Agent技术架构 14.技术架构（选择一个解析） 14.1Dify技术架构 |
|
AI大模型应用开发 （提供完整的示例代码） （实操演示成果） |
15.编写一个RAG应用示例 16.编写一个Agent应用示例 17.编写一个SpringAI应用示例 |
|
AI大模型应用搭建 （实操演示） |
18.Ollama来表示搭建与使用 19.Dify环境搭建与使用 |
|
编写性能测试智能体/工作流 （提供完整的示例DSL） （实操演示成果） |
20.明确性能测试智能体/工作流目标 21.编写中间件服务（配合性能测试智能体使用） 22.设定性能场景执行目标 23.设计性能测试智能体/工作流整体流程 24.连通LLM大模型实现性能分析 25.执行压测智能体/工作流 26.输出性能分析报告 27.循环执行 28.自动化编写最终性能测试报告 |
| AI大模型应用关键参数与指标 |
29.权重微调推理关键参数与指标 30.RAG应用关键参数与指标 31.Agent应用关键参数与指标 |
| AI大模型应用监控 |
32.技术组件列表 33.监控模型 |
| AI大模型应用常用协议SSE |
34.SSE介绍 35.SSE性能测试难点 |
|
传统压测工具在AI大模型的使用方式 （实操演示） |
36.Jmeter编写SSE脚本 37.传统测试工具的弊端 |
|
AI大模型推理评估工具 （实操演示过程） |
38.AI大模型推理评估工具 38.1.1.GuideLLM 38.1.2.EvalScope 38.1.3.LM-Evaluation-Harness |
|
AI大模型应用压测工具 （提供完整的示例代码） （实操演示过程） |
39.设计并编写AI大模型压力测试工具 39.1.1.项目概述 39.1.2.技术栈选择 39.1.3.架构设计 39.1.4.逐步实现 39.1.4.1.第一步：项目初始化 39.1.4.2.第二步：基础框架搭建 39.1.4.3.第三步：实现流式响应处理 39.1.4.4.第四步：实现性能指标计算 39.1.4.5.第五步：实现线程安全的参数化提供器 39.1.4.6.第六步：实现多线程并发测试 39.1.4.7.第七步：实现实时统计汇总 39.1.4.8.第八步：实现命令行接口 39.1.5.关键技术详解 39.1.6.测试与优化 39.1.7.扩展功能 39.1.8.最佳实践 |
|
AI大模型应用架构优化方案 （提供完整的示例方案） |
40.第一部分：模型微调优化策略 40.1.1.参数高效微调（Parameter-Efficient Fine-Tuning, PEFT） 40.1.2.梯度优化策略 40.1.3.数据优化策略 40.1.4.训练配置优化 40.1.5.硬件与分布式优化 40.1.6.框架特定优化 41.第二部分：模型推理优化策略 41.1.1.模型量化技术 41.1.2.注意力机制优化 41.1.3.批处理与并发优化 41.1.4.推理框架选择与优化 41.1.5.编译与加速技术 41.1.6.系统级优化 41.1.7.缓存策略 42.优化策略效果评估 42.1.1.微调优化效果 42.1.2.推理优化效果 43.优化方案组合推荐 43.1.1.方案一：资源充足场景 43.1.2.方案二：资源受限场景 43.1.3.方案三：高吞吐量场景 43.1.4.方案四：低延迟场景 44.实施指南 44.1.1.微调实施步骤 44.1.2.推理部署步骤 45.高级优化技术 45.1.1.模型架构优化 45.1.1.1.1.1 注意力机制变体 45.1.1.2.1.2 位置编码优化 45.1.2.数据流水线优化 45.1.2.1.2.1 异步数据加载 45.1.2.2.2.2 数据增强 45.1.3.模型压缩技术 45.1.3.1.3.1 知识蒸馏 45.1.3.2.3.2 模型剪枝 46.性能评估与基准测试 46.1.1.评估指标 46.1.2.基准测试方法 |
|
AI大模型概述 1.AI发展史 1.1.1.早期阶段（1950s-1970s） 1.1.2.知识工程时代（1970s-1980s） 1.1.3.机器学习兴起（1980s-1990s） 1.1.4.深度学习突破（2000s-2010s） 1.1.5.大模型时代（2010s至今） |
|
AI大模型基础知识 2.基础概念 2.1.1.人工智能/机器学习/深度学习/AI大模型 2.1.2.FNN/RNN/CNN/GNN/GAN/Diffusion 2.1.3.Transformer 2.1.4.大型语言模型LLM 2.1.5.提示词工程 2.1.6.量化 3.Transformer架构解析 3.1.1.词嵌入/词元嵌入 3.1.2.位置编码 3.1.3.重复的Transformer块 3.1.4.多头注意力机制（QKV/多头/掩码/输出) 3.1.5.多层感知器MLP 3.1.6.输出逻辑值（概率/温度/Top-K/Top-P) 3.1.7.残差连接 3.1.8.层归一化 3.1.9.Dropout |
|
从零实现大模型示例 （提供完整的示例代码） （实操演示成果） 4.项目介绍 5.环境准备 6.项目结构 7.核心代码实现 7.1.1.配置文件 7.1.2.数据处理模块 7.1.3.模型架构 7.1.4.训练脚本 7.1.5.推理脚本 8.完整训练流程 8.1.1.环境准备 8.1.2.数据准备 8.1.3.配置设置 8.1.4.模型训练 8.1.5.模型评估 8.1.6.模型保存 8.1.7.模型推理 8.1.8.模型分析 9.进阶优化 |
|
AI大模型权重内部架构 10.编写脚本查看权重文件内部结构 11.权重文件架构解析 11.1.1.DeepSeek系列/Qwen系列 11.1.1.1.配置信息 11.1.1.2.架构类型 11.1.1.3.模型详细参数 11.1.1.4.架构特征分析 |
|
AI大模型应用技术架构解析 12.常见的RAG技术架构 13.常见的Agent技术架构 14.技术架构（选择一个解析） 14.1Dify技术架构 |
|
AI大模型应用开发 （提供完整的示例代码） （实操演示成果） 15.编写一个RAG应用示例 16.编写一个Agent应用示例 17.编写一个SpringAI应用示例 |
|
AI大模型应用搭建 （实操演示） 18.Ollama来表示搭建与使用 19.Dify环境搭建与使用 |
|
编写性能测试智能体/工作流 （提供完整的示例DSL） （实操演示成果） 20.明确性能测试智能体/工作流目标 21.编写中间件服务（配合性能测试智能体使用） 22.设定性能场景执行目标 23.设计性能测试智能体/工作流整体流程 24.连通LLM大模型实现性能分析 25.执行压测智能体/工作流 26.输出性能分析报告 27.循环执行 28.自动化编写最终性能测试报告 |
|
AI大模型应用关键参数与指标 29.权重微调推理关键参数与指标 30.RAG应用关键参数与指标 31.Agent应用关键参数与指标 |
|
AI大模型应用监控 32.技术组件列表 33.监控模型 |
|
AI大模型应用常用协议SSE 34.SSE介绍 35.SSE性能测试难点 |
|
传统压测工具在AI大模型的使用方式 （实操演示） 36.Jmeter编写SSE脚本 37.传统测试工具的弊端 |
|
AI大模型推理评估工具 （实操演示过程） 38.AI大模型推理评估工具 38.1.1.GuideLLM 38.1.2.EvalScope 38.1.3.LM-Evaluation-Harness |
|
AI大模型应用压测工具 （提供完整的示例代码） （实操演示过程） 39.设计并编写AI大模型压力测试工具 39.1.1.项目概述 39.1.2.技术栈选择 39.1.3.架构设计 39.1.4.逐步实现 39.1.4.1.第一步：项目初始化 39.1.4.2.第二步：基础框架搭建 39.1.4.3.第三步：实现流式响应处理 39.1.4.4.第四步：实现性能指标计算 39.1.4.5.第五步：实现线程安全的参数化提供器 39.1.4.6.第六步：实现多线程并发测试 39.1.4.7.第七步：实现实时统计汇总 39.1.4.8.第八步：实现命令行接口 39.1.5.关键技术详解 39.1.6.测试与优化 39.1.7.扩展功能 39.1.8.最佳实践 |
|
AI大模型应用架构优化方案 （提供完整的示例方案） 40.第一部分：模型微调优化策略 40.1.1.参数高效微调（Parameter-Efficient Fine-Tuning, PEFT） 40.1.2.梯度优化策略 40.1.3.数据优化策略 40.1.4.训练配置优化 40.1.5.硬件与分布式优化 40.1.6.框架特定优化 41.第二部分：模型推理优化策略 41.1.1.模型量化技术 41.1.2.注意力机制优化 41.1.3.批处理与并发优化 41.1.4.推理框架选择与优化 41.1.5.编译与加速技术 41.1.6.系统级优化 41.1.7.缓存策略 42.优化策略效果评估 42.1.1.微调优化效果 42.1.2.推理优化效果 43.优化方案组合推荐 43.1.1.方案一：资源充足场景 43.1.2.方案二：资源受限场景 43.1.3.方案三：高吞吐量场景 43.1.4.方案四：低延迟场景 44.实施指南 44.1.1.微调实施步骤 44.1.2.推理部署步骤 45.高级优化技术 45.1.1.模型架构优化 45.1.1.1.1.1 注意力机制变体 45.1.1.2.1.2 位置编码优化 45.1.2.数据流水线优化 45.1.2.1.2.1 异步数据加载 45.1.2.2.2.2 数据增强 45.1.3.模型压缩技术 45.1.3.1.3.1 知识蒸馏 45.1.3.2.3.2 模型剪枝 46.性能评估与基准测试 46.1.1.评估指标 46.1.2.基准测试方法 |
近期公开课推荐
