课程简介
本课程旨在帮助学员深入理解 DeepSeek AI 及其 V3/R1 系列模型的核心技术原理、架构创新、性能优势、效率特点与开源贡献。课程将从 DeepSeek AI 的独特发展理念讲起,重点剖析 V3/R1 系列在代码和数学领域的标杆地位。详细讲解 MoE 架构、FP8 低精度计算、Flash MLA 等关键技术,以及 DeepEP, DeepGEMM 等核心基础设施库,并通过量化指标来评估其性能和效率。最后,课程将阐明 DeepSeek 的开源策略及其在 AI 社区中的重要意义。
目标收益
•理解 DeepSeek AI 的公司理念和 V3/R1 系列的战略定位。
•掌握 DeepSeek V3/R1 的核心技术原理和架构创新(MoE、FP8、Flash MLA 等)。
•了解 DeepSeek 开源的核心基础设施库(DeepEP, DeepGEMM 等)及其作用。
•评估 DeepSeek V3/R1 在代码生成和数学推理等领域的性能表现。
•了解 DeepSeek V3/R1 在计算效率方面的优势。
•认识到 DeepSeek AI 在开源 AI 社区中的贡献和价值。
培训对象
•对 DeepSeek AI 及其 V3/R1 系列模型感兴趣的技术人员、研究人员和开发者。
•希望深入了解 MoE 架构、FP8 低精度计算等 LLM 前沿技术的专业人士。
•需要在代码生成和数学推理领域使用高性能 LLM 的工程师和科学家。
•关注开源 AI 社区发展,希望了解 DeepSeek AI 技术贡献的相关人士。
课程大纲
模块 1:引言:DeepSeek AI 与 V3/R1 的定位 |
•DeepSeek AI 简介 —— 基础研究与开源精神的践行者 –关键定位 ① - 基础大模型研究 –关键定位 ② - 开源贡献 •V3/R1 系列定位 —— 三位一体的极致追求 –战略三角:性能、效率、开放性 •核心标签重申 —— 代码与数学领域的标杆 –为何聚焦这两个领域? –“标杆”地位的确立 |
模块 2:深度剖析:DeepSeek V3 / R1 的核心原理与技术架构 |
•关键功能点的运行机制 –混合专家架构 (MoE Architecture) –DeepEP (专家并行通信库) –EPLB (专家并行负载均衡器) –FP8 低精度计算 –DeepGEMM (FP8 GEMM 计算库) –Flash MLA (多长度注意力解码内核) –高质量数据策略 (侧重代码/数学) –3FS (数据访问加速器) –DualPipe (高效流水线并行调度) •技术协同:DeepSeek V3 / R1 的训练与推理运行机制概览 –高效的训练流程 (Training Flow Synergy) –优化的推理流程 (Inference Flow Synergy) |
模块 3:DeepSeek V3 / R1: 性能、效率与开放贡献 |
•性能:代码与数学能力的基准表现 –A. 代码能力基准得分 –B. 数学/推理能力基准得分 –C. 性能归因简述 •效率:MoE 与 FP8 的实际效果 –A. MoE 架构的效率参数 –B. FP8 低精度计算的优势指标 –C. 效率支撑库 •开放性:开源内容与许可证 –A. 开源资产清单 –B. 开源许可证 –C. 开放性意义简述 •关键参数与持续迭代 –A. 上下文窗口长度 (Context Window) –B. 快速迭代说明 总结:独特价值主张 |
模块 1:引言:DeepSeek AI 与 V3/R1 的定位 •DeepSeek AI 简介 —— 基础研究与开源精神的践行者 –关键定位 ① - 基础大模型研究 –关键定位 ② - 开源贡献 •V3/R1 系列定位 —— 三位一体的极致追求 –战略三角:性能、效率、开放性 •核心标签重申 —— 代码与数学领域的标杆 –为何聚焦这两个领域? –“标杆”地位的确立 |
模块 2:深度剖析:DeepSeek V3 / R1 的核心原理与技术架构 •关键功能点的运行机制 –混合专家架构 (MoE Architecture) –DeepEP (专家并行通信库) –EPLB (专家并行负载均衡器) –FP8 低精度计算 –DeepGEMM (FP8 GEMM 计算库) –Flash MLA (多长度注意力解码内核) –高质量数据策略 (侧重代码/数学) –3FS (数据访问加速器) –DualPipe (高效流水线并行调度) •技术协同:DeepSeek V3 / R1 的训练与推理运行机制概览 –高效的训练流程 (Training Flow Synergy) –优化的推理流程 (Inference Flow Synergy) |
模块 3:DeepSeek V3 / R1: 性能、效率与开放贡献 •性能:代码与数学能力的基准表现 –A. 代码能力基准得分 –B. 数学/推理能力基准得分 –C. 性能归因简述 •效率:MoE 与 FP8 的实际效果 –A. MoE 架构的效率参数 –B. FP8 低精度计算的优势指标 –C. 效率支撑库 •开放性:开源内容与许可证 –A. 开源资产清单 –B. 开源许可证 –C. 开放性意义简述 •关键参数与持续迭代 –A. 上下文窗口长度 (Context Window) –B. 快速迭代说明 总结:独特价值主张 |