feat(cluster): 输出簇分布图,直观展示簇间距离
在 preview 拼图的同级目录生成 cluster_scatter.png: - 左:聚类空间的 PCA 二维投影,散点按簇着色 + 质心标记,标题标注两个主成分的方差占比 - 右:质心两两距离矩阵(在聚类空间里算,不是投影后),带数值标注 投影用 PCA 而不是 t-SNE/UMAP——后两者为了把簇拉开会扭曲簇间距离, 而这张图的目的就是看距离。 - ClusterResult 新增 points 字段,保留 KMeans 实际使用的空间供可视化复用, 质心与散点用同一组主成分变换,避免质心飘到簇外 - summary.json 新增 centroid_distances - 新增 scatter 配置块(enabled / max_points / point_size / alpha / figsize / dpi) - 中文字体按 PingFang / Noto Sans CJK 等顺序探测,找不到自动退回英文标签, 不会画成豆腐块 - 新增依赖 matplotlib Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5
parent
4e6c8aa2ea
commit
e4bd794025
@@ -186,7 +186,34 @@ uv run python scripts/cluster_unlabeled.py --config configs/cluster/film.yaml --
|
||||
簇数由配置的 `num_clusters` 决定,也可以 `--num-clusters 6` 临时覆盖(实测 4 类的换种子稳定性最高,见文档 §10.4)。产出在 `work_dir`:
|
||||
`assignments.csv`(每张图的簇号与到质心的距离)、`summary.json`、
|
||||
`clusters/cluster_XX/`(按簇建的软链目录,直接用看图软件翻)、
|
||||
`cluster_XX_preview.png`(每簇最靠近质心的代表样本拼图)。
|
||||
`cluster_XX_preview.png`(每簇最靠近质心的代表样本拼图)、
|
||||
`cluster_scatter.png`(**簇分布图**,见下)。
|
||||
|
||||
### 簇分布图
|
||||
|
||||
`cluster_scatter.png` 和 preview 拼图同级,一张图回答"各簇离多远":
|
||||
|
||||
- **左**:聚类空间的 PCA 二维投影,散点按簇着色,`X` 是质心。标题给出两个主成分的
|
||||
方差占比——占比低说明高维结构被压掉得多,图上的远近只能参考。
|
||||
- **右**:质心两两距离矩阵(在**聚类空间**里算的,不是投影后),带数值标注。
|
||||
这个是准的,看重叠严不严重以它为准。
|
||||
|
||||
投影用 PCA 而不是 t-SNE/UMAP:后两者为了把簇拉开会**扭曲簇间距离**,而这张图的目的
|
||||
恰恰是看距离。相关配置:
|
||||
|
||||
```yaml
|
||||
scatter:
|
||||
enabled: true
|
||||
max_points: 5000 # 点太多会糊成一团且文件很大,超过就随机抽样
|
||||
point_size: 6
|
||||
alpha: 0.35
|
||||
figsize: [14, 6]
|
||||
dpi: 150
|
||||
```
|
||||
|
||||
关掉用 `--set scatter.enabled=false`。图上的中文需要系统里有 PingFang / Noto Sans CJK
|
||||
等字体,找不到会自动退回英文标签(不会画成豆腐块)。质心距离矩阵同时写进
|
||||
`summary.json` 的 `centroid_distances`,方便脚本读取。
|
||||
|
||||
翻图时注意 `clusters/` 里文件名前缀是排序号:`0000_` 最靠近质心(最典型),
|
||||
末尾 20 张是离质心最远的离群样本——最能暴露这个簇是不是混了东西。
|
||||
|
||||
Reference in New Issue
Block a user