 Shaun ZhouandClaude Opus 5
|
86c86b105c
|
refactor: 按实际的五步工作流裁掉无关代码
实际工作流是：simclr 训练 -> 聚类 -> 人工归类 -> 分类训练 -> GradCAM/SHAP 生成
热力图与 box。据此移除不参与其中的检测/定位链路，共 31 个文件、约 2600 行：
- 模型：defect_net、postprocess、necks/、heads/center_head
- 数据：film_defect（YOLO 读取端）、target_encoder
- 引擎：trainer、evaluator、losses
- 入口：train.py、eval.py
- 脚本：convert_annotations、split_dataset、export_onnx、profile_inference
- 配置：configs/{train,eval,model,dataset}
- utils/labels（多类/单类标签模式，仅检测分类头使用）
共享模块按实际用量瘦身：engine/metrics 只留 AverageMeter（检测指标随之移除）；
datasets/yolo 只留写出侧（IMAGE_SUFFIXES 与 write_data_yaml）——第 5 步产出的
YOLO 标签是给外部检测训练用的交换格式，读取端不再需要。
裁剪过程中修掉一个真 bug：generate_boxes 的 --stage 默认 6（layer3）对 tiny_conv
这类非 nn.Sequential 骨架直接抛异常。现在自动退回骨架最终输出并警告，
另加 --stage -1 显式选择最终输出。
五步工作流已端到端实跑验证（simclr 1 轮 -> 聚类 -> 导出 -> 分类 1 轮 ->
gradcam 与 shap 两种方法各生成一遍）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-11 10:27:20 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
33fdf396ee
|
feat: 新增缺陷分类训练与评估链路
在聚类 + 人工归类得到的数据集（data/<集>/<类别名>/*.png）上训练分类模型。
- datasets/classification.py：按目录组织的分类数据集，**逐类分层**切分 train/val
（others 只有 65 张，整体随机切很容易让它在验证集里挂零），固定种子可复现
- models/classifier.py：卷积骨架 + 分类头，与 DefectNet 共用 backbone 注册表，
因此自监督产出的 simclr_backbone.pth 可用 init_from 直接初始化；
frozen_backbone 可做线性探针
- engine/classification.py：训练循环 + 指标。主指标用 macro-F1 而非准确率——
数据从 normal 2679 张到 others 65 张差 41 倍，全预测成 normal 也有 24% 准确率；
损失按类别频率加权，避免小类被淹没；输出逐类 P/R/F1 与混淆矩阵
- classify.py：训练/评估入口，--eval-only 可单独评估并导出 eval_report.json
- configs/classify/film.yaml：预处理沿用聚类阶段的结论（拉伸 + 逐图标准化）。
抹掉亮度在这里尤其重要：有几类几乎只来自单一原始数据集，不抹掉的话模型可能
靠"认出这是哪个数据集"作弊
- 续训语义与检测/自监督一致：检查点只提供进度，超参以配置为准
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-10 14:58:41 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
6e543660ce
|
feat(configs): 新增 resnet101 的自监督聚类配置
resnet101 此前不在 TorchvisionBackbone 的支持列表里，先补进 _SUPPORTED
（out_channels 2048），随后被既有的参数化测试自动覆盖：能前向、声明维度与实际一致。
configs/cluster/film_simclr_resnet101.yaml 仿照 resnet18/50 两份，只改骨架与
batch_size，其余超参一致以便横向对比：
- 42.5M 参数（resnet18 11.2M / resnet50 23.5M），layer2+3 仍是 1536 维，
与 resnet50 相同，差别在深度（layer3 有 23 个 block 而非 6 个）
- batch_size 取 128：MPS 上 resnet50 在 1024 已 OOM，resnet101 约重 1.8 倍故再降一档；
注释里说明该数字来自 MPS，16 GB 独显上可往上调
- pretrained 首次使用会下载约 171 MB 权重
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-07 20:51:16 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
e581d9b3d7
|
fix(backbones): 修复 shufflenet 无法构建，并让换骨架不再踩配置合并的坑
- shufflenet_v2_x1_0 列在支持清单里却直接 AttributeError：ShuffleNetV2 既不是
扁平 children 也没有 .features，需要按 conv1/maxpool/stage2..4/conv5 自己拼。
该 bug 同时影响 SimCLR 与检测模型
- 新增参数化测试覆盖清单里的每个 arch：能前向、声明的 out_channels 与实际一致
- 配置支持 `_replace_: true`：子字典整块替换而不与 base 合并。换骨架时
tiny_conv 的 widths/depths 会残留并传给新骨架，此前无论用 --set 还是 _base_
都绕不开，只能改原文件
- Registry.build 提前校验字段，报错直接指出是哪些字段不被接受、该怎么办，
取代裸 TypeError
- README 补充可选骨架表与三种改法（含不该用 --set 改 name 的说明）
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-04 15:28:49 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
f433e5cf59
|
feat: 未分类样本的无监督聚类（多 stage 特征 + KMeans，可选 SimCLR）
把 data/film 下所有图片拉平做聚类，不使用任何目录名，簇数由 num_clusters 决定。
预处理针对该批数据的实际情况（14.5k 张已裁好的缺陷小图，中位 152x113，
宽高比 0.24~39.9）：尺寸与亮度都是 ROI 裁剪和光照的产物、不是缺陷属性，
因此拉伸到 128x128（不用 letterbox，其填充比例等价于编码了宽高比）并逐图 z-score。
- cluster: torch 实现的 kmeans++/Lloyd（含空簇处理与 n_init）、PCA、轮廓系数、
NMI 稳定性、多 stage 特征提取；不引 scikit-learn
- 白化默认关闭：CNN 特征谱极陡（λ1/λ32≈165x），白化会把噪声方向抬到与信号同权，
实测最大簇一度吃掉 96% 的样本
- simclr: NT-Xent 自监督预训练，用项目自己的卷积骨架，权重可直接初始化 DefectNet；
属于训练，走 require_cuda() 守卫
- 产出 assignments.csv、summary.json、按簇的软链目录与代表样本拼图，供人工核对
全量 14,579 张：轮廓系数 0.326、换种子稳定性 0.964，CPU 约 100 秒。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 17:55:47 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
3a36aad6c3
|
feat(models): 纯卷积缺陷分类定位模型
面向实时设备部署，全程只用 convolution，不含 attention / transformer。
- backbones: 自研 tiny_conv（深度可分离，默认）与 torchvision 封装（resnet/mobilenet/shufflenet）
- necks: nearest 上采样 + 3x3 卷积，把特征恢复到 stride 4，兼顾小缺陷定位与速度
- heads: anchor-free 中心点定位头（heatmap + wh + offset）与图像级分类头；
分类头输出维度随 label_mode 切换（多类多热 / 单类互斥含背景位）
- postprocess: 3x3 max-pool 峰值抑制替代 NMS 循环，无循环、可导出 TensorRT / OpenVINO
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 17:54:55 +08:00 |
|