课程简介

本课程通过深入的技术讲解和实战演练，全面覆盖大模型的各个核心技术领域。课程从AIGC基础知识入手，逐步深入到大模型提示工程、数据构造与清洗、参数微调等技术。在进阶环节，学员将学习到大模型中的RLHF、分布式训练方法、推理加速技术等，并探索多模态大模型的前沿应用。课程还包含RAG技术、大模型微淘及应用等多个项目实战。此外，通过一系列企业案例分析，学员将了解如何将大模型成功落地到智能问答、知识图谱等实际场景中。通过理论与实战的结合，课程旨在帮助学员提升在大模型开发、优化与落地应用中的综合能力。课程特别适合技术团队、AI从业者及企业负责人，帮助学员在AI技术领域得到提升，帮助企业挖掘业务场景，探索并交流大模型项目交付的技巧与经验。

目标收益

培训对象

课程内容

第一天上午
大模型基础概述（90分钟）
1、介绍人工智能生成创作（AIGC）领域的基本概念、应用和发展趋势，相关场景及算法基础逻辑介绍
2、大模型基础技术概述，介绍深度学习相关基础与Transformers系列介绍
大模型提示工程（60分钟）
1、介绍大模型提示工程原理，简述CoT相关技术链
2、模型中的提示词设计及优化技巧
3、多场景提示词设计介绍
大模型调用方法（30分钟）
1、类OpenAI大模型接口介绍与实战
第一天下午
主流开源语言大模型介绍与领域大模型简述（120分钟）
1、主流大模型介绍，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
2、领域大模型介绍——法律、医疗、金融、教育等领域大模型介绍
大模型中的RLHF（60分钟）
1、简述模型中的奖励模型，包括介绍奖励模型基础、数据设计及模型训练方法
2、强化学习基础介绍，PPO算法代码与原理详解、
3、前沿偏好对齐算法介绍——RRHF、RLAIF、DPO、APO等
第二天上午
大语言模的数据构造与SFT（90分钟）
1、大模型中的数据构造与清洗方法综合介绍
2、常用参数微调方法——Prefix Tuning、P-Tuning、LoRA
3、微调方法进阶——DyLoRA、AdaLoRA、QLoRA、QALoRA、LongLoRA、VERA、S-LoRA
分布式训练方法（60分钟）
1、介绍当前常用的模型分布式计算方法，详细介绍数据并行、向量并行、流式并行的多种并行策略等
2、介绍常见的分布式训练框架，如Megatron、DeepSpeed、Colossal-AI、FairScale等分布式训练框架介绍
3、DeepSpeed框架详述，介绍ZeRO-1、ZeRO-2、ZeRO-3多种分布式策略
大模型微调（30分钟）
以问数场景为例，进行大模型训练微调实战
第二天下午
大模型中的Agent技术（60分钟）
1、CoT基础原理介绍
2、Agent基础概述、主要模块与决策机制
3、主流Agent框架介绍——LlamaIndex框架、AutoGPT框架、AutoGen框架、SuperAGI框架
多模态大模型中的文生图技术（90分钟）
1、基于文本生成图像的算法和模型介绍：介绍文本到图像的生成模型，文本生成图像方法，如DALL•E、CLIP、GLIDE、DALL•E 2等模型介绍
2、介绍大模型的图片生成文本技术的核心原理
3、介绍主流图片生成文本大模型——QwenVL系列、Intern-VL系列等
多模态大模型应用（30分钟）
以表格解析为应用场景，进行多模态大模型应用
第三天上午
大模型中的推理加速（60分钟）
1、介绍大模型推理加速中的量化方法
2、介绍常用大模型推理加速框架——vLLM、FastLLM、Slang等
大模型与RAG（90分钟）
1、介绍RAG相关原理
2、向量数据库介绍——Faiss、Milvus、Pinecone、Weaviate等
3、介绍RAG应用场景及相关技巧
大模型RAG搭建（30分钟）
1、LangChain框架及概念介绍
搭建大模型RAG
大模型企业落地案例解析（90分钟）
1、大模型企业落地场景介绍，包括智能问答、知识库、知识图谱于大模型融合案例等
2、大模型应用落地案例分享
分组头脑风暴（互动）（60分钟）
设计面向大模型的企业应用场景
答疑与交流（30分钟）