课程材料下载

llm inference systemsPPTX · 17.2 MB ↓ LLM推理系统 两小时快速介绍PPTX · 0.3 MB ↓

第01讲 课程导论与评价指标PPTX · 0.2 MB ↓ 第02讲 请求生命周期与PrefillDecodePPTX · 0.2 MB ↓ 第03讲 请求调度与连续批处理PPTX · 0.2 MB ↓ 第04讲 KV缓存与状态管理PPTX · 0.2 MB ↓ 第05讲 推理系统架构与代码阅读PPTX · 0.2 MB ↓ 第06讲 执行优化与异构平台适配PPTX · 0.2 MB ↓ 第07讲 论文比较与实验验证PPTX · 0.2 MB ↓ 第08讲 开源实践与课程项目PPTX · 0.2 MB ↓

大模型推理基础设施 第01讲 课程导论PDF · 0.3 MB ↓ 大模型推理基础设施 第02讲 工作负载与评价指标PDF · 0.2 MB ↓ 大模型推理基础设施 第03讲 请求生命周期PDF · 0.3 MB ↓ 大模型推理基础设施 第04讲 请求调度PDF · 0.3 MB ↓ 大模型推理基础设施 第05讲 KV缓存PDF · 0.3 MB ↓ 大模型推理基础设施 第06讲 状态管理与记忆组织PDF · 0.2 MB ↓ 大模型推理基础设施 第07讲 推理系统架构PDF · 0.2 MB ↓ 大模型推理基础设施 第08讲 执行优化与异构路径PDF · 0.2 MB ↓ 大模型推理基础设施 第09讲 异构平台适配PDF · 0.2 MB ↓ 大模型推理基础设施 第10讲 论文比较方法PDF · 0.2 MB ↓ 大模型推理基础设施 第11讲 实验方法与验证PDF · 0.3 MB ↓ 大模型推理基础设施 第12讲 开源系统实践PDF · 0.2 MB ↓ 大模型推理基础设施 第13讲 课程项目工作坊PDF · 0.3 MB ↓ 大模型推理基础设施 第14讲 课程总结与汇报PDF · 0.2 MB ↓

Tutorial 01 工作负载与评价指标PDF · 0.1 MB ↓ Tutorial 02 请求生命周期与PrefillDecodePDF · 0.1 MB ↓ Tutorial 03 调度与连续批处理观察PDF · 0.1 MB ↓ Tutorial 04 KV Cache与状态组织PDF · 0.1 MB ↓ Tutorial 05 状态管理与记忆组织PDF · 0.1 MB ↓ Tutorial 06 推理系统架构PDF · 0.1 MB ↓ Tutorial 07 执行优化与异构路径PDF · 0.1 MB ↓ Tutorial 08 异构平台适配PDF · 0.1 MB ↓ Tutorial 09 论文比较方法PDF · 0.1 MB ↓ Tutorial 10 实验方法与验证PDF · 0.1 MB ↓ Tutorial 11 开源系统实践PDF · 0.1 MB ↓ Tutorial 12 课程项目工作坊PDF · 0.1 MB ↓ Tutorial 13 课程总结与汇报PDF · 0.1 MB ↓

experiment 1 最小运行与代码地图PDF · 0.2 MB ↓ experiment 2 请求生命周期观察PDF · 0.2 MB ↓ experiment 3 调度与连续批处理实验PDF · 0.2 MB ↓ experiment 4 KV状态与缓存组织实验PDF · 0.2 MB ↓ experiment 5 指标观测与最小复现实验PDF · 0.2 MB ↓ project 课程项目实验说明PDF · 0.2 MB ↓