feat(ml-backend): Start Training 按钮真正触发重训,启动/重训脚本进 scripts/

原先点 Label Studio 的 Start Training 只是把计数加一:START_TRAINING 和普通标注事件
走同一条阈值判断,没配 RETRAIN_COMMAND 时更是静默什么都不做。实际使用中用户点了按钮、
以为在训练,其实权重一直没变。

- Start Training 无条件触发重训;攒够 RETRAIN_AFTER 条新标注也自动触发。
- 只数 ANNOTATION_CREATED:UPDATED / DELETED 是对已有标注的修改,不该把阈值顶到。
- 已有重训在跑时重复点击被忽略,不叠加启动。
- 没配 RETRAIN_COMMAND 时打警告说明不会真的训练,并在返回值里说清楚。
- 子进程输出重定向到 RETRAIN_LOG(默认 /tmp/retrain.log),训练进度有地方看。

scripts/start_ml_backend.sh、scripts/retrain_from_label_studio.sh 放进仓库,
可从工作区直接启动。重训末尾把 runs/detect/current.pt 软链接指向新权重,
启动脚本默认读它,换模型不必改脚本。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Shaun Zhou
2026-09-21 11:00:01 +08:00
co-authored by Claude Opus 5
parent 1b8c8d7cac
commit e61fd5887c
5 changed files with 211 additions and 33 deletions
+26 -20
View File
@@ -13,23 +13,26 @@ jinja2 3.1。装进主环境会直接弄坏 Label Studio。它本来就是个独
```bash
uv venv .venv-ml --python 3.12
# --no-deps 装本体:它把 label-studio-sdk pin 到了 GitHub 某个提交,
# 那个仓库大、容易传输中断(服务器上实测失败过),依赖全部走 PyPI 更稳
VIRTUAL_ENV=.venv-ml uv pip install --no-deps \
"label-studio-ml @ git+https://github.com/HumanSignal/label-studio-ml-backend.git"
VIRTUAL_ENV=.venv-ml uv pip install \
"label-studio-ml @ git+https://github.com/HumanSignal/label-studio-ml-backend.git" \
ultralytics
"flask>2.3" "colorama~=0.4" "requests~=2.31" "semver~=3.0.2" \
"label-studio-sdk>=2.1" ultralytics
```
## 启动
```bash
cd ml_backend
YOLO_WEIGHTS=$PWD/../runs/detect/film/weights/best.pt \
YOLO_DEVICE=cuda \
LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=/home/deep/labeling \
../.venv-ml/bin/python _wsgi.py -p 9090
bash scripts/start_ml_backend.sh
```
**用 `python _wsgi.py` 而不是 `label-studio-ml start .`**:后者用 PATH 上的 python 起子进程,
在独立环境里会 `ModuleNotFoundError`。
脚本会停掉旧进程、带齐环境变量重启,并打印权重、日志位置与网页端要填的 URL。
所有参数都能用环境变量覆盖,例如 `YOLO_WEIGHTS=... bash scripts/start_ml_backend.sh`。
它内部用 `python _wsgi.py` 而不是 `label-studio-ml start .`:后者用 PATH 上的 python
起子进程,在独立环境里会 `ModuleNotFoundError`。
`LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT` 必须和启动 Label Studio 时的值一致——任务里的图片是
`/data/local-files/?d=...`,后端要靠它把 URL 还原成磁盘路径。图片若来自上传或云存储,
@@ -66,19 +69,22 @@ Label Studio 里:Settings → **Model** → Connect Model,URL 填 `http://lo
## 边标边训
Label Studio 每产生一条标注就会 POST `/webhook`,后端在 `fit()` 里累加计数,
达到 `RETRAIN_AFTER` 就起一个**子进程**执行 `RETRAIN_COMMAND` 并立刻返回——
训练要几十分钟,绝不能在这个请求里同步做,否则会把 Label Studio 卡住。
**在 Label Studio 里点 Settings → Model → Start Training**,后端收到 `START_TRAINING`
事件,起一个子进程跑 `scripts/retrain_from_label_studio.sh`,立刻返回——训练要几十分钟,
绝不能在这个请求里同步做,否则会把 Label Studio 卡住。
```bash
RETRAIN_AFTER=200 \
RETRAIN_COMMAND="/home/deep/ModelTrainEval/scripts/retrain.sh" \
../.venv-ml/bin/python _wsgi.py -p 9090
```
触发规则:
`retrain.sh` 需要自己写,大致是:导出项目 → `build_yolo_dataset.py` 装配 → `detect.py` 训练 →
把新权重放到 `YOLO_WEIGHTS` 指向的位置 → 重启本服务(或让它下次启动时加载新权重)。
**目前权重只在进程启动时加载一次**,重训完要重启服务才会生效。
- **Start Training 按钮无条件触发**,不看攒了多少条;
- 新增标注累计到 `RETRAIN_AFTER` 也会自动触发(默认 0 = 只手动)。只数
`ANNOTATION_CREATED`,`UPDATED` / `DELETED` 是对已有标注的修改,不该把阈值顶到;
- 已有重训在跑时重复点击会被忽略,不会叠起多个训练。
重训脚本做四件事:导出标注 → `build_yolo_dataset.py` 装配 → `detect.py` 训练 →
把 `runs/detect/current.pt` 软链接指向新权重并重启本服务。启动脚本默认读这个软链接,
所以换模型不用改任何脚本。**权重只在进程启动时加载一次**,这也是重训末尾要重启服务的原因。
训练进度看 `$RETRAIN_LOG`(默认 `/tmp/retrain.log`);Label Studio 网页端不显示训练进度。
## 已验证的行为