 Shaun ZhouandClaude Opus 5
|
7adc5b6332
|
feat(detect): YOLO 数据集统一为 PNG、按类别重命名并附 classes.txt
- 图片统一成 PNG。pearlescent / blue / uv 的原始数据是 BMP，generate_boxes.py
按原后缀链接，于是 runs/boxes_shap 里 3685 张 BMP 与 7526 张 PNG 混在一起，
ripple 与 uneven 两类全是 BMP。按文件头（而非后缀）判断：真 PNG 照旧硬链接，
其余无损转换，不缩放像素，归一化框坐标原样有效；CMYK 等 PNG 存不下的模式转 RGB。
在真实数据上核对过 3685 张转换结果逐像素一致。
- 文件按 <类别>_<序号> 重新编号。类别取标签第一列，文件名不会与标签矛盾；
序号在类内按源路径排序、与划分无关，换种子重跑名字不变。新旧名对照写入
name_map.csv，源文件名里的正反面、位置、时间戳不丢。--keep-names 保留原名。
- 输出 classes.txt（行号即 class_id），供 LabelImg / X-AnyLabeling 复核框时使用。
- 撞名检查改为按输出文件名的小写比较：统一后缀后 a.png 与 a.bmp 会撞，
macOS 默认文件系统也不区分大小写。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-15 16:45:58 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
86c86b105c
|
refactor: 按实际的五步工作流裁掉无关代码
实际工作流是：simclr 训练 -> 聚类 -> 人工归类 -> 分类训练 -> GradCAM/SHAP 生成
热力图与 box。据此移除不参与其中的检测/定位链路，共 31 个文件、约 2600 行：
- 模型：defect_net、postprocess、necks/、heads/center_head
- 数据：film_defect（YOLO 读取端）、target_encoder
- 引擎：trainer、evaluator、losses
- 入口：train.py、eval.py
- 脚本：convert_annotations、split_dataset、export_onnx、profile_inference
- 配置：configs/{train,eval,model,dataset}
- utils/labels（多类/单类标签模式，仅检测分类头使用）
共享模块按实际用量瘦身：engine/metrics 只留 AverageMeter（检测指标随之移除）；
datasets/yolo 只留写出侧（IMAGE_SUFFIXES 与 write_data_yaml）——第 5 步产出的
YOLO 标签是给外部检测训练用的交换格式，读取端不再需要。
裁剪过程中修掉一个真 bug：generate_boxes 的 --stage 默认 6（layer3）对 tiny_conv
这类非 nn.Sequential 骨架直接抛异常。现在自动退回骨架最终输出并警告，
另加 --stage -1 显式选择最终输出。
五步工作流已端到端实跑验证（simclr 1 轮 -> 聚类 -> 导出 -> 分类 1 轮 ->
gradcam 与 shap 两种方法各生成一遍）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-11 10:27:20 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
33fdf396ee
|
feat: 新增缺陷分类训练与评估链路
在聚类 + 人工归类得到的数据集（data/<集>/<类别名>/*.png）上训练分类模型。
- datasets/classification.py：按目录组织的分类数据集，**逐类分层**切分 train/val
（others 只有 65 张，整体随机切很容易让它在验证集里挂零），固定种子可复现
- models/classifier.py：卷积骨架 + 分类头，与 DefectNet 共用 backbone 注册表，
因此自监督产出的 simclr_backbone.pth 可用 init_from 直接初始化；
frozen_backbone 可做线性探针
- engine/classification.py：训练循环 + 指标。主指标用 macro-F1 而非准确率——
数据从 normal 2679 张到 others 65 张差 41 倍，全预测成 normal 也有 24% 准确率；
损失按类别频率加权，避免小类被淹没；输出逐类 P/R/F1 与混淆矩阵
- classify.py：训练/评估入口，--eval-only 可单独评估并导出 eval_report.json
- configs/classify/film.yaml：预处理沿用聚类阶段的结论（拉伸 + 逐图标准化）。
抹掉亮度在这里尤其重要：有几类几乎只来自单一原始数据集，不抹掉的话模型可能
靠"认出这是哪个数据集"作弊
- 续训语义与检测/自监督一致：检查点只提供进度，超参以配置为准
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-10 14:58:41 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
5d395b7c25
|
chore: 数据迁到 data/raw/ 后同步所有路径引用
原始数据从 data/<数据集> 移到了 data/raw/<数据集>。
- 聚类配置的 dataset.root：film / pearlescent 均改为 data/raw/ 下
- 检测配置的 img_dir 与 label_dir 注释同步
- README、data/README、算法文档、流程图（含重新渲染的 PNG）与各脚本
docstring 里的路径示例一并更新
- data/README 补充目录约定：原始数据只读放 data/raw/，
export_clusters.py 的派生数据集放在 data/ 下与 raw/ 平级
- 顺手把 unlabeled 数据集加进 datasets/__init__.py：此前它没在包初始化时注册，
build_dataset({"name": "unlabeled"}) 只有在别处先 import 过该模块时才可用
迁移后重跑全量聚类，结果与迁移前逐项一致（轮廓 0.3255、稳定性 0.9641、
簇大小 [4507, 3795, 4849, 1428]）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-07 11:19:42 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
141cb907f2
|
feat: 支持 cuda / mps / cpu 三后端，Mac 上可用 MPS 训练
移除"训练必须有 Nvidia GPU"的硬性守卫，改为按后端能力分派。
- utils/device: resolve_device("auto") 按 cuda > mps > cpu 挑最快的可用后端；
显式指定不可用的后端时直接报错，不会悄悄退回 CPU——训练慢几十倍却不吭声是最坏的情况
- AMP 随后端取默认值：CUDA 开、MPS 关。MPS 上 autocast 数值正常但实测更慢
（tiny_conv @128²：fp32 76 ms/步、fp16 90 ms、bf16 108 ms），需要时 amp: true 可强开
- PeakMemory 统一显存峰值统计：CUDA 读内置计数器，MPS 无峰值 API 改用逐 step 采样
（是下界，日志与产出里已标注）
- profile_inference 支持 MPS，并提示 torch.profiler 没有 MPS 的 ProfilerActivity，
算子明细只反映 CPU 侧下发耗时
- train.py / eval.py 新增 --device，配置默认改为 auto
- check_env 改为列出全部可用后端与 auto 的选择结果
实测：tiny_conv 训练在 MPS 上比 CPU 快约 32 倍。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 21:43:35 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
f433e5cf59
|
feat: 未分类样本的无监督聚类（多 stage 特征 + KMeans，可选 SimCLR）
把 data/film 下所有图片拉平做聚类，不使用任何目录名，簇数由 num_clusters 决定。
预处理针对该批数据的实际情况（14.5k 张已裁好的缺陷小图，中位 152x113，
宽高比 0.24~39.9）：尺寸与亮度都是 ROI 裁剪和光照的产物、不是缺陷属性，
因此拉伸到 128x128（不用 letterbox，其填充比例等价于编码了宽高比）并逐图 z-score。
- cluster: torch 实现的 kmeans++/Lloyd（含空簇处理与 n_init）、PCA、轮廓系数、
NMI 稳定性、多 stage 特征提取；不引 scikit-learn
- 白化默认关闭：CNN 特征谱极陡（λ1/λ32≈165x），白化会把噪声方向抬到与信号同权，
实测最大簇一度吃掉 96% 的样本
- simclr: NT-Xent 自监督预训练，用项目自己的卷积骨架，权重可直接初始化 DefectNet；
属于训练，走 require_cuda() 守卫
- 产出 assignments.csv、summary.json、按簇的软链目录与代表样本拼图，供人工核对
全量 14,579 张：轮廓系数 0.326、换种子稳定性 0.964，CPU 约 100 秒。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 17:55:47 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
af22dc639c
|
feat(datasets): YOLO 风格标注数据集与几何/像素增强
- yolo: images/ 与同层 labels/ 的路径约定、`class_id cx cy w h` 归一化行解析
（兼容分割多边形取外接矩形）、data.yaml 读写；缺失或空 txt 即无缺陷样本
- film_defect: 抛出图像、框、图像级标签；label_mode 决定多热向量还是互斥下标
- transforms: 图框同步的 Resize / Letterbox / CenterCrop / RandomResizedCrop /
翻转 / ColorJitter / GaussianBlur / PerImageStandardize
- target_encoder: 高斯半径与 heatmap / wh / offset / mask 监督信号编码
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-02 17:55:20 +08:00 |
|