xzhou/ModelTrainEval
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
99 Commits 1 Branch 0 Tags
main
Commit Graph
8 Commits
Author SHA1 Message Date
Shaun ZhouandClaude Opus 5 d6c6aca325 feat(detect): 默认模型换成 yolo26n 
CLAUDE.md 已把"只用 convolution 模型"收窄到聚类与数据集生成阶段，检测这一步
不再受限，于是换成最新的 YOLO26：端到端（NMS-free），推理侧少一道后处理。
取最小的 n 档——数据 1.1 万张且标签是弱监督的，模型大了容易把标注噪声学进去。

同时去掉 test_config.py 里"不许用 yolo11/yolo12"的断言，它的依据已随
CLAUDE.md 的改动失效。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-11 14:34:16 +08:00
Shaun ZhouandClaude Opus 5 8dc2fe6a2e feat(detect): 把弱监督框数据集链接到 data/ 并接上 YOLO 训练 
第五步产出的框标签按类别分目录，便于人工核对；检测训练要的是 train/val
划分——类别写在标签第一列，不靠目录名。补上两个入口：

- scripts/prepare_yolo_dataset.py：拍平类别目录、按类别分层切分、硬链接到
  data/。分层是必需的，black 只有 53 张，随机切容易让小类在验证集里挂零。
  无框的图默认保留（检测训练里是压低误检的负样本）；拍平后的同名冲突直接
  报错而不是静默覆盖。
- detect.py + configs/detect/film.yaml：包一层 ultralytics，沿用本仓库的
  配置继承、设备解析与 SwanLab 可视化。

选 YOLOv8 而不是 v11/v12：CLAUDE.md 限定只用 convolution 模型，YOLO11 骨架
里有 C2PSA、YOLO12 以注意力为主，只有 v8 的 C2f + SPPF 是纯卷积。
mosaic/mixup 关掉——每张图只有一个弱监督框，拼接后小目标被缩得更小，对
blackdot/whitedot 这类只占千分之几面积的类别是净伤害。

ultralytics 的 project 必须传绝对路径，相对路径会被它再拼到全局 settings
的 runs_dir 上，产出会跑到 runs/detect/runs/detect/<name> 去。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-11 12:05:50 +08:00
Shaun ZhouandClaude Opus 5 86c86b105c refactor: 按实际的五步工作流裁掉无关代码 
实际工作流是：simclr 训练 -> 聚类 -> 人工归类 -> 分类训练 -> GradCAM/SHAP 生成
热力图与 box。据此移除不参与其中的检测/定位链路，共 31 个文件、约 2600 行：

- 模型：defect_net、postprocess、necks/、heads/center_head
- 数据：film_defect（YOLO 读取端）、target_encoder
- 引擎：trainer、evaluator、losses
- 入口：train.py、eval.py
- 脚本：convert_annotations、split_dataset、export_onnx、profile_inference
- 配置：configs/{train,eval,model,dataset}
- utils/labels（多类/单类标签模式，仅检测分类头使用）

共享模块按实际用量瘦身：engine/metrics 只留 AverageMeter（检测指标随之移除）；
datasets/yolo 只留写出侧（IMAGE_SUFFIXES 与 write_data_yaml）——第 5 步产出的
YOLO 标签是给外部检测训练用的交换格式，读取端不再需要。

裁剪过程中修掉一个真 bug：generate_boxes 的 --stage 默认 6（layer3）对 tiny_conv
这类非 nn.Sequential 骨架直接抛异常。现在自动退回骨架最终输出并警告，
另加 --stage -1 显式选择最终输出。

五步工作流已端到端实跑验证（simclr 1 轮 -> 聚类 -> 导出 -> 分类 1 轮 ->
gradcam 与 shap 两种方法各生成一遍）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-11 10:27:20 +08:00
Shaun ZhouandClaude Opus 5 92c88b785c fix(config): --set 拦下不存在的键，并支持续训时重开学习率曲线 
用户反馈"聚类配置里改不了 lr/weight_decay"，实测是两件事：

1. --set 的键打错字母会凭空造出一个谁也不读的键，训练照跑但改动无效。
   实例：simclr.optmizer.weight_decay=0.0（optimizer 少个 i）被静默接受。
   现在 apply_overrides 默认只允许覆盖已存在的键，报错时给出同级可用键
   与最接近的拼写（"是不是想写 'optimizer'？"）。需要新增键时可 strict=False。

2. lr 其实生效了，但从 2229/2500 续训时 cosine 只剩满值的 3%，
   新设的 1e-3 落到 2.87e-5。新增 restart_schedule 开关：按剩余轮数重开曲线，
   新 lr 从满值开始；SimCLR 与检测训练都支持。续训日志补上调度进度，
   并在 lr 不足 initial_lr 的 10% 时警告并给出两种解法。

顺带：严格校验立刻暴露出 configs/cluster/film.yaml 里根本没有 scatter 段
（代码 cfg.get("scatter", {}) 兜底走默认值，所以功能正常但配置项形同虚设），已补上。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-07 19:30:17 +08:00
Shaun ZhouandClaude Opus 5 6f00074199 feat(cluster): 新增 resnet18 自监督聚类配置，并修复 --set 的 YAML 标量解析 
- 新增 configs/cluster/film_simclr_resnet18.yaml：用 resnet18 做域内自监督后聚类。
  backbone 块带 _replace_，避免 base 里 tiny_conv 的 widths/depths 残留
- parse_override 此前只用 ast.literal_eval，不认 YAML 风格的 null/true/false：
  `--set xxx.enabled=false` 会得到字符串 "false"，而非空字符串是真值，开关反被打开。
  改为先试 Python 字面量（保住 1e-3 这类），再退回 YAML 标量解析
- feature_stages 默认由 null 改为 [5, 6]：实测 1 epoch 自监督后 layer2+3 的轮廓
  0.243/稳定性 0.997，明显优于 layer4 的 0.156/0.528。原注释里"自监督后 layer4
  已是域内特征"的推断被数据推翻
- README 补充三种方案的实测对比与成本

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-04 15:51:28 +08:00
Shaun ZhouandClaude Opus 5 47fb0f1125 fix(configs): 修复 resnet18 训练配置无法构建，并补上对应的评估配置 
- configs/train/resnet18.yaml 此前直接报错：它同时继承 tiny_conv 与 resnet18 的模型
  配置，深度合并后 backbone 混了两边字段。在 configs/model/resnet18.yaml 的 backbone
  上加 _replace_: true 整块替换
- _replace_ 标记此前不生效：_load_raw 对每个 base 都会先 deep_merge({}, data)，
  标记在参与替换判断之前就被剥掉了。改为合并期间保留、load_config 末尾统一剥除
- 新增 configs/eval/resnet18.yaml：评估必须与训练用同一套模型配置，否则构建出的
  骨架与权重对不上，而此前只有 baseline 一个评估配置
- 新增参数化测试：仓库里每个配置都要能真的构建出组件（片段自动跳过），
  且训练/评估配置对的 model 段必须一致
- README 补充骨架与配置对的对应表

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-04 15:42:14 +08:00
Shaun ZhouandClaude Opus 5 e581d9b3d7 fix(backbones): 修复 shufflenet 无法构建，并让换骨架不再踩配置合并的坑 
- shufflenet_v2_x1_0 列在支持清单里却直接 AttributeError：ShuffleNetV2 既不是
  扁平 children 也没有 .features，需要按 conv1/maxpool/stage2..4/conv5 自己拼。
  该 bug 同时影响 SimCLR 与检测模型
- 新增参数化测试覆盖清单里的每个 arch：能前向、声明的 out_channels 与实际一致
- 配置支持 `_replace_: true`：子字典整块替换而不与 base 合并。换骨架时
  tiny_conv 的 widths/depths 会残留并传给新骨架，此前无论用 --set 还是 _base_
  都绕不开，只能改原文件
- Registry.build 提前校验字段，报错直接指出是哪些字段不被接受、该怎么办，
  取代裸 TypeError
- README 补充可选骨架表与三种改法（含不该用 --set 改 name 的说明）

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-04 15:28:49 +08:00
Shaun ZhouandClaude Opus 5 d6adea5b05 test: 单元测试与端到端冒烟 
88 个测试覆盖配置继承、注册表、GPU 守卫、YOLO 格式解析、数据集、模型形状、
标签模式、聚类原语与 SimCLR 损失，以及 train.py / eval.py / 聚类脚本的入口接线。

含两条回归测试：
- PCA 白化放大噪声方向导致簇塌陷（默认 whiten=False 的依据）
- classes 写成 data.yaml 路径时 num_classes 必须是类别数而非路径字符串长度

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-09-02 17:55:47 +08:00