学 AI,来极客时间!
利用大模型构建应用过程中无法避免的问题
提升 LLM 应用性能的关键 — 微调
主流大模型微调技术方法全覆盖
掌握大模型微调利器
多角度实战,全面掌握微调核心技能
课程大纲
- 预热篇
-
- 第一章
- 第二章
第一章:AI 大模型四阶技术总览
-
深度解读 AI 发展四轮浪潮
-
AI 大模型四阶技术总览
第二章:大语言模型技术发展与演进
-
统计语言模型
-
神经网络语言模型
-
基于 Transformer 的大语言模型
- 大模型训练理论+实战篇
-
- 第三章
- 第四章
- 第五章
- 第六章
- 第七章
- 第八章
- 第九章
- 第十章
- 第十一章
- 第十二章
- 第十三章
- 第十四章
- 第十五章
- 第十六章
第三章:大模型开发工具库 Hugging Face Transformers
-
Hugging Face Transformers 快速入门
-
大模型开发环境搭建
-
实战 Hugging Face Transformers 工具库
第四章:实战 Transformers 模型训练
-
数据集处理库 Hugging Face Datasets
-
Transformers 模型训练入门
-
实战使用 Transformers 训练 BERT 模型
第五章:大模型高效微调技术揭秘(上)
-
Before PEFT:Hard Prompt / Full Fine-tune
-
PEFT 主流技术分类介绍
-
PEFT – Soft Prompt 技术(Task-specific Tuning)
-
PEFT – Soft Prompt 技术(Prompt Encoder)
第六章:大模型高效微调技术揭秘(下)
-
PEFT 基于重参数化(Reparametrization-based)训练方法
-
UniPELT:大模型 PEFT 统一框架(2022)
-
(IA)3:极简主义增量训练方法 (2022)
第七章:大模型高效微调工具 Hugging Face PEFT 入门与实战
-
Hugging Face PEFT 快速入门AutoPeftModels、PeftModel PeftConfig PeftType | TaskType
-
实战 PEFT 库 LoRA 模型微调
第八章:大模型量化技术入门与实战
-
模型显存占用与量化技术简介
-
Transformers 原生支持的大模型量化算法
-
实战 Facebook OPT 模型量化
第九章:GLM 大模型家族与 ChatGLM3-6B 微调入门
-
智谱 GLM 大模型家族
-
ChatGLM3-6B 微调入门
-
实战 QLoRA 微调 ChatGLM3-6B
第十章:实战私有数据微调 ChatGLM3
-
实战构造私有的微调数据集
-
实战私有数据微调 ChatGLM3
第十一章:ChatGPT 大模型训练技术 RLHF
-
ChatGPT 大模型训练核心技术
-
基于人类反馈的强化学习(RLHF)技术详解
-
基于 AI 反馈的强化学习(RLAIF)技术
第十二章:混合专家模型(MoEs)技术揭秘
-
混合专家模型(Mixture-of-Experts, MoEs)技术发展简史
-
MoEs 与 大模型结合后的技术发展
-
MoEs 实例研究:Mixtral-8x7B-v0.1(Mistral AI, 2023)
第十三章:Meta AI 大模型 LLaMA
-
Meta LLaMA 1 大模型技术解读
-
Meta LLaMA 2 大模型技术解读
第十四章:实战 LLaMA2-7B 指令微调
-
大模型训练技术总结
-
实战 LLaMA2-7B 指令微调
第十五章:大模型分布式训练框架 Microsoft DeepSpeed
-
大模型分布式训练框架 DeepSpeed
-
DeepSpeed 实战
-
DeepSpeed 创新模块:Inference、Compression & Science
第十六章:国产化适配-基于华为昇腾 910 微调 ChatGLM-6B
-
大模型算力设备与生态总结
-
华为昇腾全栈 AI 软硬件平台介绍
-
实战:华为 Ascend 910B 微调 ChatGLM-6B 模型
- 智谱 AI GLM 篇
-
- GLM 大模型家族介绍
- GLM 模型部署微调实践
- CogVLM 模型部署实践
GLM 大模型家族介绍
-
GLM 系列模型发展历程:从 GLM-10B 到 GLM-4
-
GLM-4V:VisualGLM、CogVLM、CogAgent、GLM-4V 的技术变化
-
代码生成模型:CodeGeeX-3 及插件应用
-
图像生成模型 CogView-3
-
超拟人大模型 CharacterGLM
-
GLM-4 All Tools
GLM 模型部署微调实践
-
ChatGLM3-6B 开源介绍
-
ChatGLM3-6B 快速上手
-
模型微调
CogVLM 模型部署实践
-
CogVLM 开源模型介绍和体验
-
CogVLM 开源模型部署
强强联合,AI 领域知名技术专家团队手把手教学
好口碑看得见
全方位学习服务,让你学会并学有所成
适学人群
VIP 学习资料免费领取