【资源介绍】:

本课程包括大模型基础,大模型指令微调,常用的开源模型微调,大模型对齐,垂直领域大模型应用5个阶段,内容涵盖大模型微调应用场景,大模型基座,LoRA参数微调,模型压缩,QLoRA参数微调,DeepSpeed训练框架解析,Megatron-LM训练框架解析,Flash Attention技术应用,微调模型Benchmark,ChatGLM,LLaMA,Mistral,MoE,大模型对齐,RLHF,DPO,垂直领域大模型应用等前沿技术等全方位知识讲解,并结合8个实战项目,帮助同学们实现学以致用。

【资源目录】:

├──01 第一周
| └──01 第一节 2024年1月21日
| | └──01 开营+大模型介绍、Transformer
├──02 第二周
| └──01 第二节 2024年1月28日
| | └──01 Transformer、Encoder、Advanced
├──03 第三周
| └──01 第三节 2024年2月25日
| | └──01 大模型微调概览 Lora微调
├──04 第四周
| └──01 第四节 2024年3月3日
| | └──01 Alpaca、AdaLoRA、QLoRA
├──05 第五周
| └──01 第五节 2024年3月17日
| | └──01 Prefix Tuning、Quantization
├──06 第六周
| └──01 助教补充课 2024年3月24日
| | └──01 llama介绍&运行&量化&部署&微调
├──07 第七周
| └──01 第六节 2024年3月31日
| | └──01 Distributed Computing、Flash Attention
├──08 第八周
| └──01 第六节补充课
| | └──01 Flash Attention cont、微调Mistral 7B
├──09 第九周
| └──01 第七节 2024年4月14日
| | └──01 强化学习
├──10 第十周
| └──01 第七节补充课 2024年4月17日
| | └──01 Optimal Policy、Intro to Monte Carlo
└──课件资料.zip 196.04M

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。