diff --git a/README.md b/README.md index 020dd2a..6b4c4e6 100644 --- a/README.md +++ b/README.md @@ -114,7 +114,7 @@ uv run python scripts/cluster_unlabeled.py --config configs/cluster/film.yaml -- 簇数由配置的 `num_clusters` 决定,也可以 `--num-clusters 6` 临时覆盖(实测 4 类的换种子稳定性最高,见文档 §10.4)。产出在 `work_dir`: `assignments.csv`(每张图的簇号与到质心的距离)、`summary.json`、 -`clusters/cluster_XX/`(按簇建的软链目录,直接用看图软件翻)、 +`clusters/cluster_XX/`(按簇建的硬链接目录,直接用看图软件翻)、 `cluster_XX_preview.png`(每簇最靠近质心的代表样本拼图)、 `cluster_scatter.png`(**簇分布图**,见下)。 @@ -173,9 +173,9 @@ scatter: ### 按聚类结果导出数据集 -聚类产出的 `clusters/` 里是**软链**,方便人工翻看和调整——可以把图在子目录间挪动、 -删掉分错的、把 `cluster_03` 改名成 `grease`。整理完之后,以这个目录为准把**真实文件** -复制出来,得到一个可以直接使用的数据集: +聚类产出的 `clusters/` 默认是**硬链接**(见上文 `link_mode`),方便人工翻看和调整—— +可以把图在子目录间挪动、删掉分错的、把 `cluster_03` 改名成 `grease`。整理完之后, +以这个目录为准把图**复制**出来,得到一个与 `runs/` 彻底解耦的数据集: ```bash uv run python scripts/export_clusters.py --work-dir runs/simclr_r101 --prefix-parent @@ -190,14 +190,17 @@ data/simclr_r101/ # 默认取 work_dir 的名字,--out 可完全指 └── manifest.json # 每张图的原始路径与所属类别,便于追溯 ``` -导出的是**真实文件**(不是软链),文件名用原图的名字、去掉 `clusters/` 里的 `0125_` -排序前缀。加 `--prefix-parent` 会再拼上原父目录名(`反面纵黑点/abc.png` -> +导出的是**独立的副本**:硬链接条目虽然本身就是原图数据,但路径在 `runs/` 下、 +文件名还带排序前缀,而且删改会牵连原图。文件名用原图的名字、去掉 `clusters/` 里的 +`0125_` 排序前缀。加 `--prefix-parent` 会再拼上原父目录名(`反面纵黑点/abc.png` -> `反面纵黑点_abc.png`),既保住来源信息,也化解不同目录同名文件撞车。 -> **从服务器拷回来的 `clusters/` 软链全都是坏的**(指向 `/home/deep/...`),不影响使用: -> 脚本读出链接目标,按其中的 `data/` 段重新落到本机 `--source-root`(默认当前目录)上; -> 万一还找不到,再用文件名在源目录里兜底索引一次。解析不到的条目会列出来并中止, -> 确认要忽略就加 `--skip-missing`。 +> **三种条目都能解析。** 硬链接(默认)条目本身就是原图,脚本按 inode 反查 +> `assignments.csv` 认出它对应哪张原图,好让文件名与 `--prefix-parent` 拿到真正的来源; +> 有效软链直接 resolve;**从服务器拷回来的软链**(`link_mode: sym` 时,指向 +> `/home/deep/...`)在本机全部失效,脚本读出链接目标、按其中的 `data/` 段重新落到本机 +> `--source-root`(默认当前目录)上,万一还找不到再用文件名在源目录里兜底索引一次。 +> 解析不到的条目会列出来并中止,确认要忽略就加 `--skip-missing`。 几个保护:同类别内重名(保持原名会互相覆盖)直接报错并提示可用 `--prefix-parent`; 目标目录非空时必须显式 `--overwrite`。 diff --git a/scripts/export_clusters.py b/scripts/export_clusters.py index c245103..293a36a 100755 --- a/scripts/export_clusters.py +++ b/scripts/export_clusters.py @@ -3,9 +3,9 @@ uv run python scripts/export_clusters.py --work-dir runs/orgnized_from_r101_k40 -聚类脚本产出的 `clusters/` 里是**软链**,方便人工翻看、调整——可以把图在子目录之间 -挪动、删掉分错的、把 `cluster_03` 改名成 `grease`。这个脚本以整理后的目录为准, -把每张图的**真实文件**复制出来: +聚类脚本产出的 `clusters/` 默认是**硬链接**(`link_mode: hard`),方便人工翻看、调整—— +可以把图在子目录之间挪动、删掉分错的、把 `cluster_03` 改名成 `grease`。这个脚本以整理后的 +目录为准,把每张图**复制**成独立的副本: ``` data/orgnized_from_r101_k40/ @@ -15,14 +15,14 @@ data/orgnized_from_r101_k40/ └── manifest.json # 每张图的原始路径与所属类别,便于追溯 ``` -**软链失效也没关系。** 从服务器拷回来的 clusters/ 目录,软链指向的是服务器路径 -(`/home/deep/ModelTrainEval/data/raw/...`),在本机全部失效。脚本会读出链接目标, -按其中的 `data/` 段重新落到本机 `--source-root` 上;万一还找不到,再用文件名在 -源目录里兜底索引一次。 - -clusters/ 里若是**硬链接**(`link_mode: hard`,默认),条目本身就是原图;脚本按 inode +**硬链接条目本身就是原图**,只是路径在 runs/ 下、文件名带着排序前缀。脚本按 inode 反查 assignments.csv 认出它对应哪张原图,好让文件名和 `--prefix-parent` 拿到真正的来源。 +**软链失效也没关系**(`link_mode: sym` 时)。从服务器拷回来的 clusters/ 目录,软链指向的 +是服务器路径(`/home/deep/ModelTrainEval/data/raw/...`),在本机全部失效。脚本会读出链接 +目标,按其中的 `data/` 段重新落到本机 `--source-root` 上;万一还找不到,再用文件名在 +源目录里兜底索引一次。 + 导出的文件名用**原图的名字**,不带 clusters/ 里的 `0125_` 排序前缀。 加 `--prefix-parent` 则再拼上原父目录名(`反面纵黑点/abc.png` -> `反面纵黑点_abc.png`), 便于导出后仍能看出图片来自哪个原始目录。