 Shaun ZhouandClaude Opus 5
|
105cb38831
|
fix(trainer): 检测训练续训以配置为准，并恢复学习率调度进度
train.py --resume 走的是与 SimCLR 不同的一套代码，同样的问题在这里更严重：
- load_checkpoint 直接 optimizer.load_state_dict，把 lr/weight_decay 连同动量缓冲
一起还原成存档值：yaml 写 lr=5e-4，实际仍按检查点的 1e-3 训
- save_checkpoint 根本没保存调度器状态，续训时 scheduler.last_epoch 从 0 开始，
而 optimizer 的 lr 又来自检查点，两者互相矛盾，cosine 曲线完全错乱
改为与 SimCLR 一致的「配置文件是唯一真相源」：
- save_checkpoint 补上 scheduler 状态、global_step 与当时的 train 配置快照
- 新增 Trainer.resume()：加载优化器状态后按组写回配置里的超参（只留动量缓冲，
并保住 BN/bias 那组 weight_decay=0 的结构），调度器按当前配置重建再快进到已训 epoch
- 配置与检查点不一致时逐项打日志说明按当前配置执行
- train.py 改用 trainer.resume()，不再自己拼恢复逻辑
实测续训到 10 轮时 lr=3.273e-04，与 cosine 在 4/10 处的理论值精确一致；
weight_decay、T_max、调度进度、动量缓冲均正确。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-07 19:06:37 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
141cb907f2
|
feat: 支持 cuda / mps / cpu 三后端，Mac 上可用 MPS 训练
移除"训练必须有 Nvidia GPU"的硬性守卫，改为按后端能力分派。
- utils/device: resolve_device("auto") 按 cuda > mps > cpu 挑最快的可用后端；
显式指定不可用的后端时直接报错，不会悄悄退回 CPU——训练慢几十倍却不吭声是最坏的情况
- AMP 随后端取默认值：CUDA 开、MPS 关。MPS 上 autocast 数值正常但实测更慢
（tiny_conv @128²：fp32 76 ms/步、fp16 90 ms、bf16 108 ms），需要时 amp: true 可强开
- PeakMemory 统一显存峰值统计：CUDA 读内置计数器，MPS 无峰值 API 改用逐 step 采样
（是下界，日志与产出里已标注）
- profile_inference 支持 MPS，并提示 torch.profiler 没有 MPS 的 ProfilerActivity，
算子明细只反映 CPU 侧下发耗时
- train.py / eval.py 新增 --device，配置默认改为 auto
- check_env 改为列出全部可用后端与 auto 的选择结果
实测：tiny_conv 训练在 MPS 上比 CPU 快约 32 倍。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 21:43:35 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
ef64e5bf77
|
feat(engine): 训练评估循环、CenterNet 损失与指标
- trainer: AMP、梯度裁剪、cosine/step 调度、last/best 检查点，按 monitor 指标挑选 best
- losses: penalty-reduced focal loss（heatmap）+ 掩码 L1（wh/offset）+ 分类损失
（多类 BCE / 单类 CE，随 label_mode 切换）
- metrics: 定位 IoU 匹配下的 P/R/F1 与 mean IoU；分类多标签 micro-F1 与单标签 accuracy，
两种模式都输出 cls_f1，故 train.monitor 无需跟着改
- optim: BatchNorm 与 bias 不做 weight decay
- visualizer: SwanLab 记录损失/学习率/验证指标/显存峰值，未安装或离线时降级为警告
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 17:55:20 +08:00 |
|