Deep Learning Monitor 深度学习监控工具实现

前言

昨天训练的时候挂的比较晚，白天这一轮训练半夜3点才结束，为了防止服务器被浪费，要想个办法让他24小时训练，添加任务链条，让他一直运行。和AI友好沟通之后给我推荐了一些工具，感觉都不好用，于是直接VIBE手搓一个出来：

提示词

# 深度学习后台监控工具

## 功能
- 监控深度学习训练过程
- 编排任务顺序流
- 顺序执行命令，上一个跑完自动跑下一个
- Web UI 实时查看队列状态、运行日志
- 随时添加/删除/重排队任务
- 失败自动标记并跳过，不影响后续任务
- 单文件，零依赖
- 支持conda环境选择
- 支持亮/暗主题切换

## 技术栈
- Python
- FastAPI
- Unicorn

## 项目背景
我的深度学习模型训练需要花费10-12个小时，昨天挂了一个模型训练，训练到了凌晨3点，但当时我在休息。当我早上8点起床后，才开始运行下一次训练，这浪费了服务器5个小时的算力。所以我需要一个自动任务执行工具，当上一次实验结束后，自动开始下一个实验

我现有的代码在使用tensorboard之类的工具记录训练细节，所以无需记录GPU信息、占用等

## 实现细节

1. 命令的形式形如
`/home/user/miniconda3/envs/py310/bin/python /home/user/code/exp/train.py`
web UI中实现友好的环境选择、执行文件选择交互
2. 注意linux/windows环境下的文件路径问题
3. 注意tqdm的进度条显示问题

VIBE过程

先用claude套deepseek快速实现代码，并写了一个测试脚本/test.py用于测试一些接口，然后手动测试，描述bug，再返修

然后使用codex做审查，删除冗余代码，简化逻辑

请阅读 @app.py，审查该项目，梳理代码逻辑，删除冗余代码，并修复可能的潜在BUG

Git Graph

这次使用VS Code的内部工具进行git的可视化，这次我一定要驯服git！边vibe边记录存档，爽！

---

总归也是小小的花费了几块钱，开源一下吧~

06scure/dl_monitor