 Shaun ZhouandClaude Opus 5
|
33fdf396ee
|
feat: 新增缺陷分类训练与评估链路
在聚类 + 人工归类得到的数据集（data/<集>/<类别名>/*.png）上训练分类模型。
- datasets/classification.py：按目录组织的分类数据集，**逐类分层**切分 train/val
（others 只有 65 张，整体随机切很容易让它在验证集里挂零），固定种子可复现
- models/classifier.py：卷积骨架 + 分类头，与 DefectNet 共用 backbone 注册表，
因此自监督产出的 simclr_backbone.pth 可用 init_from 直接初始化；
frozen_backbone 可做线性探针
- engine/classification.py：训练循环 + 指标。主指标用 macro-F1 而非准确率——
数据从 normal 2679 张到 others 65 张差 41 倍，全预测成 normal 也有 24% 准确率；
损失按类别频率加权，避免小类被淹没；输出逐类 P/R/F1 与混淆矩阵
- classify.py：训练/评估入口，--eval-only 可单独评估并导出 eval_report.json
- configs/classify/film.yaml：预处理沿用聚类阶段的结论（拉伸 + 逐图标准化）。
抹掉亮度在这里尤其重要：有几类几乎只来自单一原始数据集，不抹掉的话模型可能
靠"认出这是哪个数据集"作弊
- 续训语义与检测/自监督一致：检查点只提供进度，超参以配置为准
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-10 14:58:41 +08:00 |
|
|
Shaun ZhouandClaude Opus 5
|
5d395b7c25
|
chore: 数据迁到 data/raw/ 后同步所有路径引用
原始数据从 data/<数据集> 移到了 data/raw/<数据集>。
- 聚类配置的 dataset.root：film / pearlescent 均改为 data/raw/ 下
- 检测配置的 img_dir 与 label_dir 注释同步
- README、data/README、算法文档、流程图（含重新渲染的 PNG）与各脚本
docstring 里的路径示例一并更新
- data/README 补充目录约定：原始数据只读放 data/raw/，
export_clusters.py 的派生数据集放在 data/ 下与 raw/ 平级
- 顺手把 unlabeled 数据集加进 datasets/__init__.py：此前它没在包初始化时注册，
build_dataset({"name": "unlabeled"}) 只有在别处先 import 过该模块时才可用
迁移后重跑全量聚类，结果与迁移前逐项一致（轮廓 0.3255、稳定性 0.9641、
簇大小 [4507, 3795, 4849, 1428]）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-09-07 11:19:42 +08:00 |
|