结合 K8s 集群搭建 SRE 智能运维 Agent 的实操项目我从定位、核心架构、项目落地、踩坑感悟四个层面讲下我对 Prometheus 的理解。一、核心定位Prometheus 是一套开源、面向云原生场景的时序监控告警系统采用 Pull 拉取架构采集指标配套独立的告警组件 Alertmanager搭配 Grafana 做可视化是当前 K8s 生态标准监控方案。 和传统监控最大区别专门适配容器动态扩缩、多标签多维指标天生适配 K8s 动态调度的场景也是我自研 SRE 故障自愈 Agent 的数据来源底座。二、四大核心核心能力多维标签时序数据模型所有监控指标都由「指标名 多组键值标签」组成比如kube_pod_container_status_waiting_reason{reasonCrashLoopBackOff,namespacedefault,podcrash-app}。 标签可以区分命名空间、Pod 名称、故障类型筛选、聚合数据非常灵活。我项目里 Pod 崩溃告警就是靠reasonCrashLoopBackOff这个标签精准过滤故障 Pod。Pull 拉取式采集架构Prometheus 服务端主动访问各个服务暴露的/metrics接口拉取指标而非客户端主动推送。 优势被监控业务不需要感知监控服务地址K8s 里通过 ServiceMonitor 自动发现新增 Pod、Deployment服务扩缩容后监控自动生效不用改配置适配容器动态特性。 我项目中 kube-prometheus-stack 会自动创建 ServiceMonitor自动采集节点、容器、kubelet、API Server 全套指标无需手动配置采集目标。PromQL 专用查询语言核心灵魂PromQL 支持聚合、过滤、区间计算、速率统计等复杂运算能精准算出业务、容器资源状态。 在我的项目里有两处关键使用 一是配置告警规则通过 PromQL 表达式识别持续崩溃的 Pod 二是 SRE Agent 主动调用 Prometheus 告警 API底层也是通过 PromQL 筛选出 FIRING 状态的故障告警作为 AI 智能体的感知输入。 比如可以快速计算 Pod 近 5 分钟 CPU 使用率、接口错误率、容器异常等待状态。分层告警体系Prometheus 规则 Alertmanager 分发我先在 Prometheus 中基于 PromQL 编写告警规则当表达式持续满足阈值就生成告警 告警不会直接推送而是转发给 Alertmanager由它统一做去重、分组、静默、路由分发。 整个项目最关键的PodCrashLooping故障告警就是基于这套机制产出供给 SRE Agent 抓取、交给 Ollama 大模型判断是否重启 Pod是整个 AIOps 自愈链路的数据源。三、项目落地实操经验我没有手动拆分部署 Prometheus、Grafana、Alertmanager而是直接使用官方整合的kube-prometheus-stackHelm Chart 一键安装整套监控栈Chart 内置全套 K8s 采集规则、ServiceMonitor自动识别集群内所有节点、Pod、控制器开箱自带大量监控面板模板Grafana 直接导入就能查看节点资源、容器 CPU / 内存、Pod 生命周期状态部署时通过 Helm values 开启 NodePort外部虚拟机可直接访问 Prometheus UI 和 Grafana 可视化页面自定义创建PrometheusRule资源新增 Pod 持续崩溃告警规则规则持久化存 Git交给 Argo CD 统一管理符合 GitOps 规范。四、实操踩坑与个人感悟时序监控强依赖时间同步 NTP部署完成后 Grafana 所有图表显示 No Data指标完全不展示。排查很久才找到根源虚拟机系统时间和宿主机物理机时间不同步。 Prometheus 是时序数据库所有指标携带时间戳时间偏移过大时数据无法匹配图表窗口直接无数据。 这件事让我明白所有时序监控系统集群所有节点必须统一同步 NTP 时间是基础前置条件。GitOps 规范约束监控配置全部代码化自定义告警规则、Grafana 面板、采集配置全部以 YAML 形式存 Git 仓库由 Argo CD 自动同步更新。禁止登录 Prometheus 页面手动修改规则保证监控环境可复现、变更可追溯。Prometheus 是 AIOps 智能运维的数据底座常规监控只做到 “人看告警、手动处理故障”而我的项目拓展了 Prometheus 能力让自研 SRE Agent 主动拉取告警数据送入大模型分析决策自动删除异常 Pod 完成自愈。 这也让我理解 Prometheus 不只是单纯的可视化监控工具还可以作为时序数据平台对接自动化、AI 运维平台拓展 AIOps 能力。五、总结Prometheus 凭借轻量化、云原生适配、灵活的 PromQL 和完整告警链路成为 K8s 环境监控事实标准。在我的项目中它既是集群资源可视化监控工具也是整套 SRE 智能自愈平台的数据源头打通了「故障采集 - LLM 决策 - 自动恢复」完整链路。同时部署、配置全程遵循 GitOps所有监控规则代码化运维规范、可落地到企业生产环境。