xzhou/ModelTrainEval
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
23 Commits 1 Branch 0 Tags
47fb0f112530432105df4c24750f0991cf6d1bee
Commit Graph
10 Commits
Author SHA1 Message Date
Shaun ZhouandClaude Opus 5 47fb0f1125 fix(configs): 修复 resnet18 训练配置无法构建，并补上对应的评估配置 
- configs/train/resnet18.yaml 此前直接报错：它同时继承 tiny_conv 与 resnet18 的模型
  配置，深度合并后 backbone 混了两边字段。在 configs/model/resnet18.yaml 的 backbone
  上加 _replace_: true 整块替换
- _replace_ 标记此前不生效：_load_raw 对每个 base 都会先 deep_merge({}, data)，
  标记在参与替换判断之前就被剥掉了。改为合并期间保留、load_config 末尾统一剥除
- 新增 configs/eval/resnet18.yaml：评估必须与训练用同一套模型配置，否则构建出的
  骨架与权重对不上，而此前只有 baseline 一个评估配置
- 新增参数化测试：仓库里每个配置都要能真的构建出组件（片段自动跳过），
  且训练/评估配置对的 model 段必须一致
- README 补充骨架与配置对的对应表

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-04 15:42:14 +08:00
Shaun ZhouandClaude Opus 5 e581d9b3d7 fix(backbones): 修复 shufflenet 无法构建，并让换骨架不再踩配置合并的坑 
- shufflenet_v2_x1_0 列在支持清单里却直接 AttributeError：ShuffleNetV2 既不是
  扁平 children 也没有 .features，需要按 conv1/maxpool/stage2..4/conv5 自己拼。
  该 bug 同时影响 SimCLR 与检测模型
- 新增参数化测试覆盖清单里的每个 arch：能前向、声明的 out_channels 与实际一致
- 配置支持 `_replace_: true`：子字典整块替换而不与 base 合并。换骨架时
  tiny_conv 的 widths/depths 会残留并传给新骨架，此前无论用 --set 还是 _base_
  都绕不开，只能改原文件
- Registry.build 提前校验字段，报错直接指出是哪些字段不被接受、该怎么办，
  取代裸 TypeError
- README 补充可选骨架表与三种改法（含不该用 --set 改 name 的说明）

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-04 15:28:49 +08:00
Shaun ZhouandClaude Opus 5 e4bd794025 feat(cluster): 输出簇分布图，直观展示簇间距离 
在 preview 拼图的同级目录生成 cluster_scatter.png：
- 左：聚类空间的 PCA 二维投影，散点按簇着色 + 质心标记，标题标注两个主成分的方差占比
- 右：质心两两距离矩阵（在聚类空间里算，不是投影后），带数值标注

投影用 PCA 而不是 t-SNE/UMAP——后两者为了把簇拉开会扭曲簇间距离，
而这张图的目的就是看距离。

- ClusterResult 新增 points 字段，保留 KMeans 实际使用的空间供可视化复用，
  质心与散点用同一组主成分变换，避免质心飘到簇外
- summary.json 新增 centroid_distances
- 新增 scatter 配置块（enabled / max_points / point_size / alpha / figsize / dpi）
- 中文字体按 PingFang / Noto Sans CJK 等顺序探测，找不到自动退回英文标签，
  不会画成豆腐块
- 新增依赖 matplotlib

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-04 15:09:35 +08:00
Shaun Zhou 4550fdfa8e feat(cluster): add ImageNet pre-trained model section and adjust batch sizes 2026-09-03 15:47:37 +08:00
Shaun ZhouandClaude Opus 5 345dee50da feat(simclr): 支持断点续训，恢复优化器与调度器状态 
此前 simclr.checkpoint 的语义是"有权重就跳过训练"，没有真正的续训：
中途停掉再启动只能从头再来，或者放弃已训的轮次。

- 新增 simclr_last.pth：骨架 + 投影头 + 优化器 + 调度器 + scaler + epoch + step，
  与给下游用的 simclr_backbone.pth 并存，两者在同一时机落盘
- 新增 simclr.resume：载入完整状态从下一个 epoch 接着练。只恢复权重不恢复动量与
  cosine 进度的话，续训时损失会先反弹一段
- resume 与 checkpoint 互斥（同时给直接报错）；拿只含骨架的 simclr_backbone.pth
  去 resume 会给出可操作的报错，提示改用 checkpoint
- 续训轮数已达计划值时不再训练，只打警告

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-03 09:34:55 +08:00
Shaun ZhouandClaude Opus 5 be6173c746 feat(simclr): 接入 SwanLab 可视化，并补上本地看板缺失的依赖 
- SimCLRTrainer 记录 simclr/loss、loss_avg、lr（按 step）与 epoch_loss、
  epoch_seconds、gpu_mem_peak_mb（按 epoch），超参为完整 yaml 配置；
  正常结束与 KeyboardInterrupt 两条路径都会 finish()
- 配置新增 simclr.swanlab（字段同 train.swanlab），默认 mode: local，
  不需要登录，日志写到 <work_dir>/swanlog
- 依赖改为 swanlab[dashboard]：此前 `swanlab watch` 在干净环境里会报
  "Please install the swanboard package"，README 里检测训练那节的看板命令
  同样受影响，现已随 uv sync 装好
- README 补齐本地看板/云端/离线补传三种用法与端口、局域网参数

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-03 09:24:39 +08:00
Shaun ZhouandClaude Opus 5 7d5b6ec423 docs(readme): 补全 SimCLR 训练与复用权重聚类的完整流程 
- 拆成三步：训练+聚类一条命令（含产出目录树、45 分钟预期、nohup 后台跑法）、
  用 simclr.checkpoint 复用权重重新聚类（约 1 分钟，含 k=2 与 --sweep-k）、
  以及把 --set 固化进 yaml 的写法
- 提醒复用权重时要换 --work-dir，否则会覆盖上次的聚类产出
- 修复三条 uv run 命令的续行反斜杠（此前被折叠成单行）
- 目录表 utils/ 的描述由"GPU 守卫"改为"设备解析（cuda/mps/cpu）"
- profiler 小节补充三后端差异并链到"计算后端"

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-03 09:10:36 +08:00
Shaun ZhouandClaude Opus 5 938d62ea53 docs: SimCLR 域内自监督的实测对比与多后端说明 
- 新增 §10.5：SimCLR vs ImageNet 预训练在 14,579 张上的同设置对比。
  只训 1 个 epoch 的域内特征在 k=4 上即追平（轮廓 0.334 vs 0.325），
  在 k=2 上大幅胜出（轮廓 0.469、稳定性 0.991）——目视确认该二分正是
  "有明显缺陷 / 弱纹理近空白"，可直接作为流水线的第一级过滤
- 复杂度表补 MPS 实测：特征提取 84s(CPU) -> 51s(MPS)，SimCLR 约 65s/epoch
- README 增加"计算后端"小节（三后端的 AMP 默认值、显存统计与限制）
- 流程图与对照表同步去掉已移除的 GPU 守卫

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-02 21:43:35 +08:00
Shaun ZhouandClaude Opus 5 4fc0fa5353 docs: 无监督聚类的数学说明、mermaid 图与 README 
- docs/unsupervised-clustering.md: 逐图标准化对仿射光照群的不变性证明、
  多 stage 特征的取舍、PCA 白化失效的谱分析、KMeans 收敛性与 kmeans++ 近似比、
  轮廓系数与 NMI 稳定性的定义、NT-Xent 与 InfoNCE 下界，附全部消融数据与代码对照表
- figures/: 四张 mermaid 图（流水线、KMeans 控制流、SimCLR、主成分谱），
  含 .mmd 源、.md 预览与渲染好的 .png
- README: 数据准备、训练评估、多类/单类、SwanLab、Profiler、聚类与自监督的运行说明

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-02 17:55:48 +08:00
xzhou c0e7c23aef Initial commit 2026-09-01 16:48:33 +08:00