DVC 中如何通过常量文件统一管理依赖与输出路径

本文介绍在 dvc 项目中使用 python 常量文件(如 `constants.py`)集中定义数据路径,并在 `dvc.yaml` 中通过 `vars` 引入实现跨阶段复用的正确方法。

DVC 支持通过顶层 vars 字段导入外部 Python 文件中的变量,从而实现路径等配置的“单点定义、多处引用”。你提供的写法——在 dvc.yaml 中声明 vars: - constants.py,并在 stage 中使用 ${MY_DATA} 和 ${MY_OUT}——完全符合 DVC 官方规范,且自 DVC v2.0 起稳定支持

✅ 正确示例:

# constants.py
MY_DATA = "data/location"
MY_OUT = "data/out"
# dvc.yaml
vars:
  - constants.py

stages:
  preprocess:
    deps:
      - ${MY_DATA}
    outs:
      - ${MY_OUT}
    cmd: python scripts/preprocess.py

⚠️ 注意事项:

  • constants.py 必须是合法的 Python 模块:仅包含变量赋值(支持字符串、数字、布尔值、嵌套字典/列表),不可含执行逻辑(如 import、函数调用、if 语句),否则 DVC 解析会失败;
  • 变量名需为合法 Python 标识符(如 MY_DATA ✅,my-data ❌);
  • DVC 不会自动重载 constants.py —— 修改后需运行 dvc repro 或 dvc dag 等命令触发重新解析;
  • 若需环境差异化配置(如开发/生产路径不同),推荐升级至 params.yaml + --params 方式,但对静态路径场景,vars + .py 更轻量、更直观。

? 小技巧:可在 constants.py 中添加类型提示增强可维护性(DVC 忽略注释,但 IDE 友好):

# constants.py
MY_DATA: str = "data/raw"
MY_OUT: str = "data/processed"

总结:你的原始方案无需修改——只要确保 constants.py 语法纯净、路径存在且有读取权限,该方式就是 DVC 推荐的标准化路径管理实践。如仍报错,请检查 DVC 版本(≥2.0)、文件编码(UTF-8)、变量是否被意外覆盖,并可通过 dvc version 和 dvc dag --dot

| dot -Tpng -o dag.png 辅助诊断。