- 大模型基础
- GPU 与高性能计算
- 生成模型
- 模型优化
- 大模型系统
•
•
•
•
-
LLM 与 AIGC 量化：从数值格式到 W4A4
从比特、舍入和矩阵乘讲起，整理 GPTQ、AWQ、SmoothQuant、QuaRot/SpinQuant、ConvRot、SVDQuant 分别解决什么问题、怎么做、在 GPU 上怎么跑，以及扩散模型、KV Cache、FP8/FP4 的量化
-
AIGC 推理加速：扩散模型的特征缓存
整理 FBCache、TeaCache、TaylorSeer、SeaCache、DPCache、SoftCache 等特征缓存方法，记录它们缓存什么、什么时候重算、跳过的步怎么补
-
AIGC 分布式推理：从 Wan2.2 理解 DP/TP/CP/SP/PP
以 Wan2.2 TI2V 5B 为例，记录分布式推理中各种并行方式切什么、怎么通信、代价有多大
-
vLLM V1 源码阅读笔记
阅读 vLLM V1 源码后的架构理解与核心流程记录
-
AIGC 模型量化工具调研报告
对主流量化工具的调研与对比
-
解析FlashAttention2源码
记录一下学习FlashAttention2源码过程中对一些概念的理解
-
对CUTE中的Thread-Value Layout的理解
记录一下学习cute过程中的对Thread-Value Layout的理解
-
生成式扩散模型采样方法DDIM及其推导
记录学习DDIM采样方法的过程
-
生成式扩散模型DDPM及其推导
把学习扩散模型DDPM的过程记录一下
-
旋转位置编码
整理旋转位置编码相关的内容，介绍其来源及具体的算法
-
Attention系列整理Part2-FlashAttention
整理FlashAttention系列以及其计算原理
-
Attention系列整理Part1-基础
整理Attention的基础知识，推导计算量
-
关于SM Occupancy的一些解释说明
解释SM Occupancy的计算和意义
-
ByteTransformer源码解读
记录学习ByteTransformer过程中的代码释疑