
First Post
记录历史,以启示未来

记录历史,以启示未来
收录日常菜肴、甜品与饮品的个人菜谱集
整理关键点检测的坐标回归与热力图两种表示、热力图的生成与亚像素解码、可见性掩码与训练、PCK 和 OKS 指标、坐标映射与翻转增强中的左右互换,以及由二维关键点用 PnP 求解位姿
整理让训练好的模型变小、变快的几种做法,包括非结构化剪枝与结构化剪枝、知识蒸馏、伪量化与量化感知训练,以及它们在同一个小实验上实测的效果
整理 Vision Transformer 把图像送入 Transformer 的方式,包括图像块嵌入、分类标记与位置嵌入、一个小型 ViT 的实现与参数量、与 CNN 的对比实验、改变输入分辨率的方法,以及注意力的查看
整理优化器与学习率调度的原理,包括 SGD、动量、RMSprop、Adam、AdamW 的更新公式及其与 PyTorch 实现的逐步对照,预热、余弦退火等调度的公式,以及学习率与批大小的关系
整理用 DistributedDataParallel 进行多进程、多显卡训练的方法,包括进程组与 torchrun、最小的训练脚本、同步的验证、常见的注意事项、DataParallel 以及启动与排错
整理训练实验的记录与比较方法,包括需要记录的内容、实验目录的组织、日志与指标文件、在训练脚本中记录以及多次实验的比较
整理 TensorBoard 在 PyTorch 中的用法,包括 SummaryWriter 的各种记录方法、启动与远程查看,以及记录频率、关闭写入器、事件文件大小等常见问题
整理图像分割的任务类型、掩码格式与数据增强、U-Net 的实现、交叉熵与 Dice 损失、训练与评价指标、推理后处理,以及 torchvision 预训练分割模型的使用