尧图网页设计 
Apache Airflow CLI 敏感值保护connections list与variables list默认隐藏密码与 URI 凭据【免费下载链接】airflowApache Airflow - A platform to programmatically author, schedule, and monitor workflows项目地址: https://gitcode.com/GitHub_Trending/ai/airflow本文介绍 Apache Airflow 对 CLI 输出敏感信息的一项安全增强airflow connections list与airflow variables list两个子命令默认不再展示连接密码、URI 凭据与变量值只有显式传入--show-values才显示完整明细并新增--hide-sensitive用于在展示时对密码、URI、extras 等敏感字段做打码处理。读完本文你将掌握这两个命令的三种输出模式、底层掩码实现原理、参数约束以及如何在实际运维中安全地使用它们。变更背景为什么默认要隐藏敏感值在 Apache Airflow 的日常运维中connections list和variables list是排查连接配置与全局变量的高频命令。过去这类命令会直接输出密码、URI 中的账号口令以及extra扩展字段一旦终端日志被采集、粘贴到工单或分享到协作工具中极易造成凭据泄露。本次变更将安全默认值确立为 CLI 行为规范airflow connections list默认只输出连接 IDconn_id与连接类型conn_typeairflow variables list默认只输出变量名key不显示变量值需要完整明细时显式使用--show-values需要显示结构但不泄露内容时组合使用--show-values --hide-sensitive对密码、URI 凭据、extras 等字段打码。这一设计原则与 Airflow 现有的敏感字段保护机制一脉相承。在 airflow-core/src/airflow/config_templates/config.yml 中core.hide_sensitive_var_conn_fields自 2.1.0 起默认True负责在 UI 与任务日志中隐藏敏感 Variables 和 Connection extra JSON 键本次 CLI 增强则是把同类保护延伸到终端输出。connections list三种输出模式命令入口位于 airflow-core/src/airflow/cli/commands/connection_command.py参数定义在 airflow-core/src/airflow/cli/cli_config.py。模式一默认输出仅 ID 与类型不附加任何参数时通过ConnectionDisplayMapper.ids_only输出只包含conn_id与conn_type$ airflow connections list conn_id conn_type --------- ---------- my_pg postgres my_redis redis源码中ids_only返回的字典只有两个字段从结构上保证密码、URI 等字段根本不会进入输出流staticmethod def ids_only(conn: Connection) - dict[str, Any]: Return only connection identifiers (no sensitive values). Used by list by default. return { conn_id: conn.conn_id, conn_type: conn.conn_type, }模式二--show-values显示完整明细显式确认需要完整信息时使用--show-values此时映射器切换为ConnectionDisplayMapper.full_details输出包含id、conn_id、conn_type、description、host、schema、login、password、port、is_encrypted、is_extra_encrypted、extra_dejson以及get_uri等全部字段。这是唯一一种会明文输出密码与 URI 的模式请仅在可信终端使用。$ airflow connections list --show-values模式三--show-values --hide-sensitive结构完整、内容打码同时传入两个参数时映射器切换为ConnectionDisplayMapper.masked_sensitivestaticmethod def masked_sensitive(conn: Connection) - dict[str, Any]: Return full connection structure with password, extra, and URI credentials masked. return { id: conn.id, conn_id: conn.conn_id, conn_type: conn.conn_type, description: conn.description, host: conn.host, schema: conn.schema, login: conn.login, password: SENSITIVE_PLACEHOLDER if conn.password else conn.password, port: conn.port, is_encrypted: conn.is_encrypted, is_extra_encrypted: conn.is_extra_encrypted, extra_dejson: SENSITIVE_PLACEHOLDER if conn.extra_dejson else conn.extra_dejson, get_uri: _mask_uri_credentials(conn.get_uri()), }打码规则有三点值得展开password 字段非空密码一律替换为占位符***SENSITIVE_PLACEHOLDER定义于 airflow-core/src/airflow/cli/utils.py空密码保持原样extra_dejson 字段只要存在extra扩展内容整个 JSON 以***隐藏extras 中常存放令牌、密钥等敏感项因此采用整体隐藏策略get_uri 字段不做整串替换而是由_mask_uri_credentials仅掩码凭据部分保留连接结构可读性见下文。URI 凭据掩码算法_mask_uri_credentials的实现位于 connection_command.py基于urllib.parse.urlsplit / urlunsplit完成保留结构、掩码凭据def _mask_uri_credentials(uri: str) - str: if not uri: return uri try: parsed urlsplit(uri) if not parsed.scheme: return SENSITIVE_PLACEHOLDER if in parsed.netloc: _creds, host_port parsed.netloc.split(, 1) masked_netloc f{SENSITIVE_PLACEHOLDER}:{SENSITIVE_PLACEHOLDER}{host_port} return urlunsplit((parsed.scheme, masked_netloc, parsed.path, parsed.query, parsed.fragment)) return uri except Exception: return SENSITIVE_PLACEHOLDER典型效果由单元测试 airflow-core/tests/unit/cli/commands/test_connection_command.py 的参数化用例直接佐证输入 URI掩码后输出postgresql://user:passhost:5432/dbpostgresql://***:***host:5432/dbmysql://admin:secretlocalhost:3306/testmysql://***:***localhost:3306/testhttp://api:key123api.example.com:8080/v1http://***:***api.example.com:8080/v1sqlite:///tmp/test.db无凭据原样保留redis://localhost:6379/0无凭据原样保留空字符串原样返回invalid-uri解析失败整体替换为***边界行为非常明确无凭据的 URI 原样输出没有可泄露内容解析失败的 URI 整体打码宁可多掩码也不冒险。variables list默认只显键名显值时整体打码变量子命令实现于 airflow-core/src/airflow/cli/commands/variable_command.py参数定义在 cli_config.py。$ airflow variables list key ---------- api_endpoint db_password与连接不同变量名本身无法被自动归类为敏感或非敏感一个叫api_endpoint的变量和叫db_password的变量在系统层面没有区别因此variables list的隐藏策略更加保守默认只查Variable.key的去重列表值完全不进入查询与输出路径--show-values查询全部变量映射器输出key与val--show-values --hide-sensitive所有变量值一律替换为***不做任何个别判断staticmethod def with_values(var, hide_sensitive: bool False) - dict[str, str]: Return variable with value, optionally masked. key var.key if hasattr(var, key) else var[key] raw var.val if hasattr(var, val) else var.get(val, var.get(_val)) val if raw is None else str(raw) if hide_sensitive: val SENSITIVE_PLACEHOLDER return {key: key, val: val}这正是变量场景下的正确取舍既然无法自动区分敏感变量--hide-sensitive就把所有值都打码由使用者自行决定是否进一步查看。参数约束--hide-sensitive不能单独使用两个命令都实现了相同的参数校验单独传入--hide-sensitive而无--show-values时会直接报错退出$ airflow connections list --hide-sensitive --hide-sensitive can only be used with --show-values$ airflow variables list --hide-sensitive --hide-sensitive can only be used with --show-values校验逻辑位于两处命令实现中connection_command.py#L162-L163 与 variable_command.py#L80-L81单元测试也分别覆盖了这一行为test_connection_command.py#L144-L148、test_variable_command.py#L275-L278。语义上--hide-sensitive是对展示行为的修饰因此必须与--show-values搭配才有意义。同族增强config list也具备相同参数本次安全默认值设计并非只落在连接与变量上。cli_config.py 中airflow config list同样定义了--show-values与--hide-sensitive默认只显示配置项名称值含潜在敏感项一律隐藏--show-values显示配置值组合--hide-sensitive时密码、密钥、令牌等敏感配置值被隐藏仅展示非敏感配置。可以看到默认隐藏、显式放行已成为 Airflow CLI 输出层的一致策略运维脚本在迁移时应同步检查对config list的解析逻辑。源码级验证测试如何锁定新行为单元测试对默认行为与两种显式模式做了完整断言可当作行为规格书阅读默认模式不泄露字段test_connection_command.py#L100-L109断言输出中不出现get_uri与password只出现conn_id与conn_type--show-values输出完整明细#L111-L118断言get_uri出现在输出中--show-values --hide-sensitive打码#L120-L142断言输出包含password: ***且get_uri凭据被选择性掩码变量掩码行为test_variable_command.py#L237-L278分别覆盖默认仅键名、--show-values显值、组合参数全量打码、非法组合报错四种场景。升级注意事项与最佳实践默认行为的破坏性变更依赖airflow connections list/variables list明文输出做自动化解析的脚本升级后默认拿到的字段会变少。请改为显式传入--show-values并对输出做好落盘权限与日志脱敏管理。打码不是加密--hide-sensitive仅做展示层隐藏数据库中的连接密码与变量值并未被修改也不应被视为访问控制手段。审计分享用打码模式需要把连接/变量清单贴进工单或协作群时优先使用--show-values --hide-sensitive保证结构可见、内容不泄。注意 CLI 迁移方向源码中connections_list与variables_list均带有deprecated_for_airflowctl(airflowctl connections list)/(airflowctl variables list)装饰器见 connection_command.py#L149、variable_command.py#L66表明 Airflow 正引导用户迁移到新一代airflowctl管理工具源码位于 airflow-ctl/src/airflowctl。新项目建议直接评估 airflowctl 的对应能力。与配置项协同结合 config.yml 中的hide_sensitive_var_conn_fields默认True与sensitive_var_conn_names可扩展敏感关键词列表可以在 UI、日志、CLI 三个层面形成统一的敏感信息防护体系。小结通过本次变更airflow connections list与airflow variables list建立了默认最小化披露、显式--show-values放行、--hide-sensitive兜底打码的三级输出模型连接场景对 URI 凭据做结构保留式掩码变量场景因无法自动分类而采用全量打码config list也遵循同一套参数约定。配合源码中的映射器设计ids_only/masked_sensitive/full_details与单元测试锁定这套机制既保证了日常排障的可用性也把敏感信息泄露的风险降到了最低。【免费下载链接】airflowApache Airflow - A platform to programmatically author, schedule, and monitor workflows项目地址: https://gitcode.com/GitHub_Trending/ai/airflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Apache Airflow CLI 敏感值保护：`connections list` 与 `variables list` 默认隐藏密码与 URI 凭据
Apache Airflow CLI 敏感值保护connections list与variables list默认隐藏密码与 URI 凭据【免费下载链接】airflowApache Airflow - A platform to programmatically author, schedule, and monitor workflows项目地址: https://gitcode.com/GitHub_Trending/ai/airflow本文介绍 Apache Airflow 对 CLI 输出敏感信息的一项安全增强airflow connections list与airflow variables list两个子命令默认不再展示连接密码、URI 凭据与变量值只有显式传入--show-values才显示完整明细并新增--hide-sensitive用于在展示时对密码、URI、extras 等敏感字段做打码处理。读完本文你将掌握这两个命令的三种输出模式、底层掩码实现原理、参数约束以及如何在实际运维中安全地使用它们。变更背景为什么默认要隐藏敏感值在 Apache Airflow 的日常运维中connections list和variables list是排查连接配置与全局变量的高频命令。过去这类命令会直接输出密码、URI 中的账号口令以及extra扩展字段一旦终端日志被采集、粘贴到工单或分享到协作工具中极易造成凭据泄露。本次变更将安全默认值确立为 CLI 行为规范airflow connections list默认只输出连接 IDconn_id与连接类型conn_typeairflow variables list默认只输出变量名key不显示变量值需要完整明细时显式使用--show-values需要显示结构但不泄露内容时组合使用--show-values --hide-sensitive对密码、URI 凭据、extras 等字段打码。这一设计原则与 Airflow 现有的敏感字段保护机制一脉相承。在 airflow-core/src/airflow/config_templates/config.yml 中core.hide_sensitive_var_conn_fields自 2.1.0 起默认True负责在 UI 与任务日志中隐藏敏感 Variables 和 Connection extra JSON 键本次 CLI 增强则是把同类保护延伸到终端输出。connections list三种输出模式命令入口位于 airflow-core/src/airflow/cli/commands/connection_command.py参数定义在 airflow-core/src/airflow/cli/cli_config.py。模式一默认输出仅 ID 与类型不附加任何参数时通过ConnectionDisplayMapper.ids_only输出只包含conn_id与conn_type$ airflow connections list conn_id conn_type --------- ---------- my_pg postgres my_redis redis源码中ids_only返回的字典只有两个字段从结构上保证密码、URI 等字段根本不会进入输出流staticmethod def ids_only(conn: Connection) - dict[str, Any]: Return only connection identifiers (no sensitive values). Used by list by default. return { conn_id: conn.conn_id, conn_type: conn.conn_type, }模式二--show-values显示完整明细显式确认需要完整信息时使用--show-values此时映射器切换为ConnectionDisplayMapper.full_details输出包含id、conn_id、conn_type、description、host、schema、login、password、port、is_encrypted、is_extra_encrypted、extra_dejson以及get_uri等全部字段。这是唯一一种会明文输出密码与 URI 的模式请仅在可信终端使用。$ airflow connections list --show-values模式三--show-values --hide-sensitive结构完整、内容打码同时传入两个参数时映射器切换为ConnectionDisplayMapper.masked_sensitivestaticmethod def masked_sensitive(conn: Connection) - dict[str, Any]: Return full connection structure with password, extra, and URI credentials masked. return { id: conn.id, conn_id: conn.conn_id, conn_type: conn.conn_type, description: conn.description, host: conn.host, schema: conn.schema, login: conn.login, password: SENSITIVE_PLACEHOLDER if conn.password else conn.password, port: conn.port, is_encrypted: conn.is_encrypted, is_extra_encrypted: conn.is_extra_encrypted, extra_dejson: SENSITIVE_PLACEHOLDER if conn.extra_dejson else conn.extra_dejson, get_uri: _mask_uri_credentials(conn.get_uri()), }打码规则有三点值得展开password 字段非空密码一律替换为占位符***SENSITIVE_PLACEHOLDER定义于 airflow-core/src/airflow/cli/utils.py空密码保持原样extra_dejson 字段只要存在extra扩展内容整个 JSON 以***隐藏extras 中常存放令牌、密钥等敏感项因此采用整体隐藏策略get_uri 字段不做整串替换而是由_mask_uri_credentials仅掩码凭据部分保留连接结构可读性见下文。URI 凭据掩码算法_mask_uri_credentials的实现位于 connection_command.py基于urllib.parse.urlsplit / urlunsplit完成保留结构、掩码凭据def _mask_uri_credentials(uri: str) - str: if not uri: return uri try: parsed urlsplit(uri) if not parsed.scheme: return SENSITIVE_PLACEHOLDER if in parsed.netloc: _creds, host_port parsed.netloc.split(, 1) masked_netloc f{SENSITIVE_PLACEHOLDER}:{SENSITIVE_PLACEHOLDER}{host_port} return urlunsplit((parsed.scheme, masked_netloc, parsed.path, parsed.query, parsed.fragment)) return uri except Exception: return SENSITIVE_PLACEHOLDER典型效果由单元测试 airflow-core/tests/unit/cli/commands/test_connection_command.py 的参数化用例直接佐证输入 URI掩码后输出postgresql://user:passhost:5432/dbpostgresql://***:***host:5432/dbmysql://admin:secretlocalhost:3306/testmysql://***:***localhost:3306/testhttp://api:key123api.example.com:8080/v1http://***:***api.example.com:8080/v1sqlite:///tmp/test.db无凭据原样保留redis://localhost:6379/0无凭据原样保留空字符串原样返回invalid-uri解析失败整体替换为***边界行为非常明确无凭据的 URI 原样输出没有可泄露内容解析失败的 URI 整体打码宁可多掩码也不冒险。variables list默认只显键名显值时整体打码变量子命令实现于 airflow-core/src/airflow/cli/commands/variable_command.py参数定义在 cli_config.py。$ airflow variables list key ---------- api_endpoint db_password与连接不同变量名本身无法被自动归类为敏感或非敏感一个叫api_endpoint的变量和叫db_password的变量在系统层面没有区别因此variables list的隐藏策略更加保守默认只查Variable.key的去重列表值完全不进入查询与输出路径--show-values查询全部变量映射器输出key与val--show-values --hide-sensitive所有变量值一律替换为***不做任何个别判断staticmethod def with_values(var, hide_sensitive: bool False) - dict[str, str]: Return variable with value, optionally masked. key var.key if hasattr(var, key) else var[key] raw var.val if hasattr(var, val) else var.get(val, var.get(_val)) val if raw is None else str(raw) if hide_sensitive: val SENSITIVE_PLACEHOLDER return {key: key, val: val}这正是变量场景下的正确取舍既然无法自动区分敏感变量--hide-sensitive就把所有值都打码由使用者自行决定是否进一步查看。参数约束--hide-sensitive不能单独使用两个命令都实现了相同的参数校验单独传入--hide-sensitive而无--show-values时会直接报错退出$ airflow connections list --hide-sensitive --hide-sensitive can only be used with --show-values$ airflow variables list --hide-sensitive --hide-sensitive can only be used with --show-values校验逻辑位于两处命令实现中connection_command.py#L162-L163 与 variable_command.py#L80-L81单元测试也分别覆盖了这一行为test_connection_command.py#L144-L148、test_variable_command.py#L275-L278。语义上--hide-sensitive是对展示行为的修饰因此必须与--show-values搭配才有意义。同族增强config list也具备相同参数本次安全默认值设计并非只落在连接与变量上。cli_config.py 中airflow config list同样定义了--show-values与--hide-sensitive默认只显示配置项名称值含潜在敏感项一律隐藏--show-values显示配置值组合--hide-sensitive时密码、密钥、令牌等敏感配置值被隐藏仅展示非敏感配置。可以看到默认隐藏、显式放行已成为 Airflow CLI 输出层的一致策略运维脚本在迁移时应同步检查对config list的解析逻辑。源码级验证测试如何锁定新行为单元测试对默认行为与两种显式模式做了完整断言可当作行为规格书阅读默认模式不泄露字段test_connection_command.py#L100-L109断言输出中不出现get_uri与password只出现conn_id与conn_type--show-values输出完整明细#L111-L118断言get_uri出现在输出中--show-values --hide-sensitive打码#L120-L142断言输出包含password: ***且get_uri凭据被选择性掩码变量掩码行为test_variable_command.py#L237-L278分别覆盖默认仅键名、--show-values显值、组合参数全量打码、非法组合报错四种场景。升级注意事项与最佳实践默认行为的破坏性变更依赖airflow connections list/variables list明文输出做自动化解析的脚本升级后默认拿到的字段会变少。请改为显式传入--show-values并对输出做好落盘权限与日志脱敏管理。打码不是加密--hide-sensitive仅做展示层隐藏数据库中的连接密码与变量值并未被修改也不应被视为访问控制手段。审计分享用打码模式需要把连接/变量清单贴进工单或协作群时优先使用--show-values --hide-sensitive保证结构可见、内容不泄。注意 CLI 迁移方向源码中connections_list与variables_list均带有deprecated_for_airflowctl(airflowctl connections list)/(airflowctl variables list)装饰器见 connection_command.py#L149、variable_command.py#L66表明 Airflow 正引导用户迁移到新一代airflowctl管理工具源码位于 airflow-ctl/src/airflowctl。新项目建议直接评估 airflowctl 的对应能力。与配置项协同结合 config.yml 中的hide_sensitive_var_conn_fields默认True与sensitive_var_conn_names可扩展敏感关键词列表可以在 UI、日志、CLI 三个层面形成统一的敏感信息防护体系。小结通过本次变更airflow connections list与airflow variables list建立了默认最小化披露、显式--show-values放行、--hide-sensitive兜底打码的三级输出模型连接场景对 URI 凭据做结构保留式掩码变量场景因无法自动分类而采用全量打码config list也遵循同一套参数约定。配合源码中的映射器设计ids_only/masked_sensitive/full_details与单元测试锁定这套机制既保证了日常排障的可用性也把敏感信息泄露的风险降到了最低。【免费下载链接】airflowApache Airflow - A platform to programmatically author, schedule, and monitor workflows项目地址: https://gitcode.com/GitHub_Trending/ai/airflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考