课程简介

课程涵盖NLP、CV、大模型原理与代码，深入剖析主流大模型应用、技术对比与选型，传授办公效率提升的Prompt技巧，详解本地大模型私有化部署流程，包括环境搭建、模型获取与推理服务启动等。此外，课程还涉及模型大微调、蒸馏技术及基于DeepSeek的私有化代码编程，助力学员掌握知识库建设与自定义问答，并优化大模型系统性能。通过实战案例与实操指导，全方位提升学员在人工智能领域的技术能力与应用水平。

目标收益

培训对象

学员要求：本课程面向有一定经验的数据分析师、AI工程师或业务建模专家。因为涉及NLP、CV、大模型三个方面的原理和代码，建议有一定的IT基础，具备基础的Python知识。

课程内容

第一节主流大模型应用介绍和模型间的商业集成（1小时）
典型大模型比较
1. GPT-4（OpenAI）
2. Claude（Anthropic）
3. Gemini（Google）
4. Llama（Meta）
5. QWen（阿里）
6. Coze（字节跳动）
7. DeepSeek（深度求索-幻方量化）
大模型整体技术阐述：主流技术、小众技术有哪些
基于Transformer架构和支持复杂上下文理解
大模型的量化压缩
GPT4的多模态能力（文本、图像输入）、逻辑推理、长文本生成。
GPT4应用场景建议：对话系统、内容创作、数据分析、教育
DeepSeek的数学、中文问答、CoT、代码生成等方向的sota做法，长上下文优化
DeepSeek的MoE架构，在R1、V3两个不同模型上的对比技术亮点
DeepSeek应用场景建议：一般性问答、金融数据分析、科研计算、教育解题
DeepSeek与火山Coze的商用集成方案
第二节大模型技术对比和主流大模型选型（2小时）
1 模型选择
Deepseek-R1 (7B/67B)：中文领域表现SOTA，支持长上下文推理
Llama-3 (8B/70B)：Meta最新开源模型，多语言通用底座
Mistral-8x7B：MoE架构标杆，推理效率提升3倍
Qwen-72B：阿里千问开源版，金融法律领域微调能力强
2 基础环境搭建实操
硬件要求：至少24GB显存（如RTX 3090/A10） + 64GB内存
软件依赖：
oCUDA 12.1 + cuDNN 8.9
oPyTorch 2.2 + Transformers 4.38
oFlashAttention-2加速库
oOllama、vLLM、AngthingLLM等平台的安装
o关键配置：LD_LIBRARY_PATH添加cuda路径，设置PYTORCH_CUDA_ALLOC_CONF防止显存碎片
o
第三节大模型办公效率提升和提示词Prompt技巧（2小时）
DeepSeek应用
AI工具对个人与企业影响
DeepSeek与Llama3、Qwen的对比
DeepSeek网页版与本地版功能对比
7B小模型与32B模型功能对比
DeepSeek角色扮演，打造不同领域的专属AI顾问
PPT中AI智能应用
AI自动排版
AI自动搜图
DeepSeek辅助PPT创意构思
DeepSeek融合专业PPT应用工具
DeepSeek关联PPT智能插件应用
Excel中的AI智能数据魔法
AI自动分析、格式化
AI自动图表、透视表
DeepSeek辅助Excel深度数据分析
DeepSeek函数编写“神助攻”，助力函数菜鸟成高手
DeepSeek编写VBA代码，让零基础写代码变得简单高效
将工作表数据拆分成多个工作表
将工作表数据拆分成多个工作簿
将多个工作表数据合并成一个工作表
多个工作簿中的工作表保存到一个工作簿
ChatGPT助力Excel自动化实战
DeepSeek创意枯竭时的灵感源泉
营销文案、工作报告、创意写作的生成案例
DeepSeek快速精准地提炼文档信息
DeepSeek助力文档智能纠错与优化建议
DeepSeek助力学术论文撰写得力助手
第四节本地大模型私有化部署（2小时）
1 Deepseek-R1蒸馏版的部署实操
1.模型获取：
o通过HuggingFace官方仓库申请权限
o下载deepseek-r1-7B、8B、32B、70B的safetensors格式权重
2.推理服务启动
o关键参数trust_remote_code、max_model_len等的讲解
o解释器多种启动服务方式对比
3.服务验证
o代码调用
o服务API的参数设置
2 Deepseek-R1 671B满血版的部署流程
1.模型获取：
oHuggingFace/Modelscope/github的参数下载
2.硬件配置说明
o16张A100，700G显存的刚性支持
o2T硬盘空间，权重文件和临时文件
3.对标模型的比较
oQwQ系列的突然开源
o解释阿里的32B是如何对抗671B的模型的
3 Llama-3-8B快速部署
1.量化加速
oFP8的特点
o对比Deepseek原论文中量化章节的解读
2.REST API调用：
o深度学习系统部署的常用方式
o针对AI算法的部署框架

第五节大模型微调和模型训练（3小时）
1 Deepseek-R1领域数据微调
1.数据准备：
o格式：JSONL文件，每条含instruction/input/output
o数据源：财报、券商研报、金融问答对、运营商问答对、意图识别数据
o关键处理：使用SentencePiece重组专业术语tokenization
2.QLoRA训练配置
o微调在大模型中的常用方法
o多种LoRA方式的对别
3.启动训练
o显存优化
oGPU并行
2 探讨适合微调的业务场景
o阐述项目中RAG模式和LoRA模式的选择
o探讨微调方案的优势，分析不适合微调的场景
第六节大模型的蒸馏（2小时）
大模型蒸馏需掌握的核心内容
模型蒸馏的知识迁移
参数量压缩、计算效率提升
教师-学生架构‌
BERT/GPT到MobileNet的蒸馏
软标签与硬标签‌的选择
损失函数设计‌、温度参数
知识蒸馏和特征蒸馏的区别
硬蒸馏与软蒸馏‌的区别
超参数学习率、温度参数、损失权重等调优‌
思考移动端部署或边缘计算的环境场景
DistilBERT、TinyBERT等预蒸馏模型
Deepseek中教师模型的产生机制
Deepseek使用的蒸馏技术总结
第七节基于DeepSeek私有化代码编程（1小时）
本地化模型部署
模型获取与安装
DeepSeek获取私有化模型安装包，模型文件（权重+配置文件）
硬件选型：GPU算力、内存、存储，并安装依赖环境CUDA、Docker、Python库
服务器内网环境管理和必要的设置
开发工具本地化集成、IDE插件适配
Cursor、CodeGPT等工具配置，模型调用指向DeepSeek API，禁用云端服务
搭建本地模型服务（RESTful API或gRPC）
离线依赖管理：搭建私有仓库
禁用外部数据传输，关闭开发工具自动更新、云同步功能
对模型文件、代码库进行加密存储，记录所有模型调用日志
记录用户操作（如模型调用、代码提交）
确定DeepSeek的离线更新流程，及时模型补丁
第八节知识库建设与自定义知识问答（3小时）
1私有数据的文档生成系统全流程实操
架构设计：
1.数据层：Wind API实时获取宏观指标 + PDF解析模块
2.推理层：
oDeepseek-R1作为生成核心
oMistral-8x7B进行事实核查
3.评估层：
oRouge-L评估内容一致性
oFinBERT检测财务数据矛盾
以部署拓扑理清整体脉络
常规分析、复杂计算、数据采集、向量数据库、路由决策、Deepseek-R1/Mistral-8x7B、合规审查、PDF输出
2 基于知识库的问答系统实操
关键技术点：
1.RAG增强：
o使用LlamaIndex构建行业知识图谱
oFAISS向量库实现百万级文档秒级检索
2.记忆管理：
o缓存最近轮次的对话摘要
o采用CoT（Chain-of-Thought）提示工程技术
3.风控拦截：
o关键词过滤（如“保证收益”、“100%”等违规表述）
o置信度阈值设定（softmax概率<0.7时触发人工接管）
第九节大模型系统优化（2小时）
1 性能加速方案
量化压缩：
oGPTQ 4bit量化使模型体积减少70%
o采用DeepseekV3提出的MTP技术实现tokens
缓存策略：
oKV Cache分块存储，降低重复计算
o高频问题回答预生成
2 监控体系建设
1.业务指标：
o平均响应时间<2.5s
o意图识别准确率>92%
2.模型指标：
oPPL（困惑度）波动监控
oAttention熵值异常检测
3.硬件监控：
oGPU利用率>85%时自动扩容
o显存泄漏预警机制