使用 Prometheus 监控告警

• 解压缩安装包

解压缩之后，目录文件如下所示:

demo@zhiyu:~/prometheus-2.26.0.linux-amd64$ ls
console_libraries  consoles  data  LICENSE  NOTICE  prometheus  prometheus.yml  promtool

• 修改prometheus.yml

其中,上述目录下的 prometheus.yml 就是配置文件，修改后配置如下:

global:
  scrape_interval:     15s 
  evaluation_interval: 15s

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 127.0.0.1:9093

rule_files:
  - "./avgLoadMonitor.yml"

scrape_configs:
  - job_name: 'DolphinDB'
    static_configs:
    - targets: ['115.239.209.122:8080','115.239.209.122:25667']

其中，alerting部分的targets部分，指向Alertmanager的地址。 rule_files部分定义了预警规则，其中avgLoadMonitor.yml需要另外创建，下文将介绍如何配置。

scrape_configs部分中的 targets 指向待监控的 DolphinDB 的节点地址。本例中添加了2个 DolphinDB 节点，IP 地址为 115.239.209.122，监控端口为 8080 和 25667。若用户在实际操作中想要添加其他节点，按照“IP:PORT”的格式添加在targets中。

• 创建 avgLoadMonitor.yml 文件

配置 avgLoadMonitor.yml 的内容如下所示:

groups:
- name: avgLoadMonitor
  rules:
  - alert: avgLoadMonitor
    expr: avgLoad > 0.1
    for: 15s
    labels:
      severity: 1
      team: node
    annotations:
      summary: "{{ $labels.instance }} avgLoad larger than 0.1!"

本例中使用的指标是 avgLoad（DolphinDB 提供的一个指标），报警条件为 avgLoad> 0.1。用户可根据实际需要，指定指标和报警条件。

• 解压缩安装包

解压后，目录文件如下所示:

demo@zhiyu:~/alertmanager-0.21.0.linux-amd64$ ls
alertmanager  alertmanager.yml  amtool  LICENSE  NOTICE

示例中，alertmanager.yml 是配置文件，报警通知渠道可以是电子邮箱、钉钉、企业微信等。

当预警规则被触发时，Prometheus 会根据其配置文件中的 alerting 部分，推送信息给 Alertmanager，Alertmanager 将向已配置的渠道发送报警消息。

• 配置 alertmanager.yml

本例演示的报警渠道为QQ邮箱。修改 alertmanager.yml 如下：

global:
  resolve_timeout: 5m
  smtp_from: 'xxxx@qq.com'
  smtp_smarthost: 'smtp.qq.com:465'
  smtp_auth_username: 'xxxx@qq.com'
  smtp_auth_password: 'yyyy'
  smtp_require_tls: false
  smtp_hello: 'qq.com'

route:
  group_by: ['alertname']
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 5m
  receiver: 'email'
receivers:
- name: 'email'
  email_configs:
  - to: 'xxxx@qq.com'
    send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

注 ：

• xxxx@qq.com 请替换为实际邮箱地址；
• 邮箱需要开启 SMTP 功能，smtp_auth_password: 'yyyy'中的 yyyy 替换为第三方登录邮箱的授权码。

以qq邮箱为例，获取授权码的具体步骤可参考链接：获取授权码

• 启动 Prometheus 命令如下：

demo@zhiyu:~/prometheus-2.26.0.linux-amd64$ nohup ./prometheus --config.file=prometheus.yml &

prometheus 默认绑定在 9090 端口，可以通过前端 Web 访问，本例使用的地址为 127.0.0.1:9090。

• 启动 Alertmanager 命令如下：

demo@zhiyu:~/alertmanager-0.21.0.linux-amd64$ nohup ./alertmanager --config.file=alertmanager.yml &

AlertManger 默认绑定在 9093 端口，访问地址是 http://127.0.0.1:9093，当 Prometheus 中触发报警规则，在该地址中可以看到推送信息，然后提交给具体的渠道处理，从而实现报警。本例中，当负载超过 0.1 时，邮箱会收到报警邮件。

完成启动后，意味着 DolphinDB 的指标监控和报警也已完成。