Shaun ZhouandClaude Opus 5
4fc0fa5353
- docs/unsupervised-clustering.md: 逐图标准化对仿射光照群的不变性证明、 多 stage 特征的取舍、PCA 白化失效的谱分析、KMeans 收敛性与 kmeans++ 近似比、 轮廓系数与 NMI 稳定性的定义、NT-Xent 与 InfoNCE 下界，附全部消融数据与代码对照表 - figures/: 四张 mermaid 图（流水线、KMeans 控制流、SimCLR、主成分谱）， 含 .mmd 源、.md 预览与渲染好的 .png - README: 数据准备、训练评估、多类/单类、SwanLab、Profiler、聚类与自监督的运行说明 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
30 lines
1.3 KiB
Markdown
30 lines
1.3 KiB
Markdown
# PCA 主成分谱与白化的失效
|
||
|
||
**蓝柱**：真实特征在各主成分上的方差占比 λⱼ/Σλ（2000 张随机样本，layer2+3，384 维）。
|
||
前 4 个成分占 68.7%，λ₁/λ₃₂ ≈ 165×。
|
||
|
||
**橙线**：白化后所有方向被强制拉平到 1/32 = 3.1%。
|
||
|
||
PC1 被压掉约 12 倍、PC32 被放大约 14 倍——K-Means 的欧氏距离于是主要由末尾那些
|
||
近乎噪声的方向决定。实测开白化时最大簇吃掉 96% 的样本，关掉后降到 38%。
|
||
|
||
```mermaid
|
||
---
|
||
config:
|
||
xyChart:
|
||
width: 1250
|
||
height: 520
|
||
titlePadding: 16
|
||
themeVariables:
|
||
xyChart:
|
||
titleColor: "#1F2937"
|
||
plotColorPalette: "#2563EB, #EA580C"
|
||
---
|
||
xychart
|
||
title "主成分方差谱：白化会把末尾的噪声方向抬到与信号同权"
|
||
x-axis "主成分序号 j （PCA 降到 32 维）" [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32]
|
||
y-axis "方差占比 (%)" 0 --> 40
|
||
bar [38.2, 13.0, 10.8, 6.7, 4.5, 3.6, 3.4, 2.3, 2.0, 1.6, 1.5, 1.3, 1.2, 1.0, 0.9, 0.8, 0.7, 0.7, 0.7, 0.7, 0.5, 0.5, 0.5, 0.4, 0.4, 0.4, 0.3, 0.3, 0.3, 0.3, 0.3, 0.2]
|
||
line [3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1, 3.1]
|
||
```
|