集群运维监控

Grafana中的 Alert 模块提供了告警和预警功能，使用告警和预警功能时，需要在 Alert rules 模块中建立告警规则。Alert rules 主要作用为：对指标进行监控，当指标触发告警条件时，进行告警处理。一个告警规则至少要包含告警条件和告警评估。

告警条件

点击 New alert rule 添加新的告警规则，如下所示：

上图为 Alert rules 的第一组件，告警条件。告警条件的一般设置为：

1. 告警选择器，默认为 Grafana managed alert；

2. Add query 为新增查询；选择需要监控告警的指标，如 CPU 使用率；

3. Add expression 为新增表达式；

4. 为选择用于最终告警的数据。

需要明确的是，Grafana 通过接收一个布尔值来决定是否触发告警，当接收值为 1 时，触发告警，接收值为0时，不触发告警，因此，单一的查询语句无法进行告警(单一的查询语句返回的是具体数值，不是布尔值)，还需要一个表达式来返回一系列的布尔值。表达式中一共有四种操作符，如下所示：

当查询结果返回一条数据时，如查询服务器 CPU 使用率

(1-sum(rate(node_cpu_seconds_total{job=A,mode="idle"}[1m]))/ sum(rate(node_cpu_seconds_total{job=A}[1m]))) *100

只返回服务器 CPU 使用率一条数据，需要选择 Classic condition 操作符，即 Classic condition 适用于单维告警条件。

当查询结果返回多条数据时，如查询三台服务器 CPU 使用率

(1-sum(rate(node_cpu_seconds_total{mode="idle"}[1m])) by (job) / sum(rate(node_cpu_seconds_total[1m])) by (job)) *100

返回三台服务器的 CPU 使用率数据，需要组合 Reduce 操作和 Math 操作，Reduce 作用将多条语句结果进行聚合分组，Math 为布尔运算表达式。如下图所示，当查询返回一条数据时：

上图中的 Conditions 中的含义为，若在时间窗口中查询语句A的返回结果最后一个值大于3，返回1，否则返回0，对应的操作为 WHEN=last()，OF=A，IS ABOVE=3。也可以选择其他条件，如，若在时间窗口中A的平均值小于50，触发告警，对应的操作为 WHEN=mean()，OF=A，IS BELOW=50。此外，可供的选择有很多种，如下所示：

当查询结果返回多条语句时，首先选择 Reduce 操作符。如下所示：

上图中的含义为，将查询语句 A 的返回结果进行分组，然后对分组结果取均值，并且若时间窗口内有 Nan 值，在求均值时将 Nan 视为 Nan，而不是剔除（其余参数含义见 Grafana 官方文档）。

在进行了 Reduce 操作之后，新增一个 expression，选择 Math 操作符，进行布尔运算，如下所示：

$B>80表示若表达式B返回的结果大于80，返回1，否则返回0。引用其他表达式或者查询的结果时，要使用一个'$'符号，比如，引用B表达式的结果，用'$B'表示。

选择用于最终告警的数据。该数据一定为一个布尔类型的数据。如下所示：

上图选择了 C 返回的结果作为告警触发条件。

告警评估

这个组件主要功能为每隔多久评估一次指标是否触发告警条件，以及持续多久触发告警条件后进行告警。如下图所示：

为每隔多久评估一次是否触发告警条件，上图选择1分钟评估一次。

是 Pending 时间，意为为持续多久触发告警条件后进行告警，上图选择了持续5分钟触发告警后进行告警。

为当表达式返回的值为空时，设置告警规则的状态，有 No Data, Alerting, OK 三种状态可以选择。若表达式返回的数据为空，设置为 Alerting 和 No Data 时，持续时间超过5分钟会触发告警，选择 OK 则不会触发告警。

为当告警条件出现异常时，设置告警规则的状态，有 Error, Alerting, OK 三种状态可以选择。若前面的告警条件出现了异常，设置为 Alerting 和 No Data 时，异常持续时间超过5分钟会触发告警，选择 OK 则不会触发告警。如下所示：

上图中红框为告警规则的状态。Pending 表示该指标已经触发告警条件，但持续时间还未超过5分钟，一旦持续时间超过了5分钟，Pending 就会变为 Firing。No data 表示表达式查询返回值为空。Normal 表示指标正常。

Prometheus 定义了4种不同的指标类型(metric type)：Counter, Gauge, Histogram, Summary:

通常 Counter 的总数并没有直接作用，而是需要借助于 rate, topk, increase 和 irate 等函数来生成样本数据的变化状况，如：

rate(http_requests_total[2h])，获取2小时内，该指标下各时间序列上的 http 总请求数的增长速率

topk(3,http_requests_total)，获取该指标下http请求总数排名前3的时间序列

irate(http_requests_total[2h])，高灵敏度函数，用于计算指标的瞬时速率

Gauge 用于存储其值可增可减的指标样本数据，常用于进行求和、取平均值、最小值、最大值等聚合计算。也会经常结合 PromQL 的 predict_linear 和 delta 函数使用，如：

predict_linear(v range-vector,t,scalar)函数可以预测时间序列 v 在 t 秒后的值，他通过线性回归的方式来预测样本数据的 Gauge 变化趋势

delta(v range-vector)函数计算范围向量中的每个时间序列元素的第一个值与最后一个值之差，从而展示不同时间点上的样本值得差值。

delta(cpu_temp_celsius{host=“hostname”}[2h])，返回该服务器上的 CPU 温度与两小时之前的差异

Prometheus 的内置函数请参考官方文档PromQL 内置函数.

Prometheus 通过指标名称和对应的一组标签（labelset）唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而 label 则在这个基本标识上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生新的计算后的一条时间序列。

以查询语句 rate(node_cpu_seconds_total{mode="idle",instance="localhost:8080"}[2h]) 为例， node_cpu_seconds_total 是一个即时向量；{} 里的内容是筛选条件；mode="idle" 就是筛选标签；[2h] 是范围向量，当不指定范围向量时，返回的是当前时刻的瞬时值。该查询语句查询的是地址为 localhost:8080 服务器在两小时内 CPU 的闲置率。

查询语句返回的是以当前时刻为基准的值，如 node_cpu_seconds_total[5m]，返回以当前时间为基准5分钟内的数据。若要查询5分钟前的样本数据，则需要借助位移操作符 offset，如查询5分钟前至10分钟前，这5分钟的 CPU 使用时长，可使用 node_cpu_seconds_total[5m] offset 5m。

当然 PromQL 也支持常见的布尔运算符，如 (node_memory_bytes_total - node_memory_free_bytes_total) / node_memory_bytes_total > 0.95 查询的是当前内存使用率超过95%的主机。

此外 PromQL 还支持常见的聚合操作,并可以通过 by 关键字进行分组，如 sum(http_requests_total) by (code,handler,job,method)。

在告警规则建立时，告警组件的最后一步，可以为告警设置一些查询语句中不具有的标签，以供 Notification polices 和 Silence 组件使用。如下所示：

key 和 value 都是自定义的，如令 key=rule, value=cpuUsage。

以 CPU 使用率为例，完成一个告警规则配置后，此时 Alert rules 界面会出现如下所示内容，Labels 会显示自定义的标签：

告警和预警的主要目的帮助相关人员了解服务器当前运行状况，当发生异常时，提醒专业的人员进行维护，但是不同的告警需要不同的部门或运维人员介入处理，因此我们需要将不同的告警消息发送给不同的人员。Notification policies 模块的作用是将告警消息按照制定好的策略发送。如下所示：

Notification policies 一共有 Root policy--default for all alerts, Specific routing, Mute timings 三大组件。

• Root policy--default for all alerts

  Root policy--default for all alerts 组件设置的是告警消息的默认接收者，当某个告警规则未指定告警消息接收者时，告警发生后，告警消息将发送到默认接收者。点击 Edit 编辑告警消息的默认接收者，如下所示：

  
  
  

  Default contact point 为告警消息的默认接收者。

  Group by 将告警规则按照所选择的Label进行分组。

  Group wait 为新创建的告警规则所产生的新组在第一次发送告警消息前的缓冲时间。

  Group interval 为属于同组的告警规则之间发送告警消息的时间间隔，举例说明：

  设组1有 A, B 两个告警规则，Group Interval 为 m 分钟，且他们的 Pending 时间都是 n 分钟，A 在9:45分触发了告警条件，B 在9:46分触发了告警条件，且 A 持续触发告警条件的时间大于 n，B 持续触发告警条件的时间大于 n+m，则 A 将在(9:45+n)发送告警消息，B 不是在(9:46+n)触发告警消息，而是将在(9:46+n+m)发送告警消息。

  Repeat interval 为前后两次发送告警消息的时间间隔。举例说明：设告警规则 A 所在组的 Repeat interval 时间为 f，A 持续触发告警的时间远远大于其 Pending 时间和f，A 在9:45首次发送告警消息，A 将在(9:45+f)再次发送告警消息，而不是在(9:45+Pending时间)发送告警消息。

• Specific routing

  Specific routing 组件主要功能为将不同类型的告警消息发送给不同的人。如下所示，点击 New specific policy，进入如下所示页面：

  
  
  

  点击 Add matcher，进入如下所示页面：

  
  
  

  Contact point 选择接收者。

  Matching labels 通过标签及对应的值来选择该接收者要接收的告警消息。上述将有 cpuUsage 标签的告警消息发送给 test1。

  Override grouping 设置该路径里告警规则的分组依据，若不开启，则从默认接收者中继承。

  Override general timings 若开启，将覆盖默认接收者里设置的 timings。

  Mute timings 为该接受收者选择一个要接收告警的时间。

• Mute timings

  Grafana 提供按特定的时间段收到告警消息的功能，由 Mute timings 组件实现。点击 Add mute timing，进入如下所示页面：

  
  
  

  设定 name 字段为工作时间。Time range 含义：只有在此时间段产生的告警消息才会发送给用户。Days of week 含义：一周中的哪几天用户希望能收到告警消息。

该模块主要作用为，设置某些告警规则为静默状态，即不让这些规则发送告警消息，即便它满足告警消息的发送条件。如下图所示：

点击 New Silence 添加静默，进入如下所示页面：

Matching labels 模块通过标签筛选出告警规则，使所选规则在静默时间内处于静默状态。Silence start and end 为静默时间。

Grafana 目前不支持企业微信告警与预警，需要部署 Prometheus 的 Alertmanager进行企业微信告警。

先将 Alertmanager 部署到 Prometheus 所在服务器中。然后在企业微信生成一个专用于告警的应用。

进入企业微信管理后台，点击应用管理-->创建应用如图所示：

进入如下所示页面：

上传应用图片，给应用取一个名字，并选择应用可见范围（必须设置），创建完成后，进入如下所示页面：

先将 AgentId 和 Secret 记录下来，然后再配置企业可信 IP，如下所示：

点击：

填入 Prometheus 和 Aertmanager 部署的服务器的公网 IP，然后点击通讯录，如下所示：

获取到你要接收信息的部门的部门 ID，并记录。最后点击我的企业，如下所示：

获取企业 ID，并记录。

获取了企业 ID，部门 ID，应用 ID，Secret 后，就可以配置 Alertmanager 了。在 Alertmanager 安装目录下找到 alertmanager.yml，将里面的内容全部删除，输入以下内容，若不存在，可以手动创建一个：

global: 
  resolve_timeout: 1m

templates:
  - '/home/appadmin/monitor/alertmanager/alertmanager-0.24.0.linux-amd64/template/wechat.tmpl'  #企业微信告警消息模板地址

route:
  receiver: 'wechat'  #下面 receivers 设置的接收者名称
  group_by: ['alertname'] 
  group_wait: 30s  # 这三个的概念和前面 Grafana 里的概念一样
  group_interval: 1m 
  repeat_interval: 10m 
  

receivers:
- name: 'wechat' 
  wechat_configs: 
    - corp_id: 'ww68d468fe12810853' #企业 ID
      to_party: '38'   #部门 ID
      agent_id: '1000015'   #应用 ID
      api_secret: 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx' #Secret
      send_resolved: true  #是否发送告警恢复

然后再更改 prometheus.yml，输入以下内容：

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["xxxxxxxx:xxx"] #alertmanager 的 IP 地址和端口号

rule_files:
  - "rules/node_alerts.yml" #告警规则的存放路径

之后在 Prometheus 安装目录里新建一个 rules 文件夹，在 rules 文件夹里新建一个 node_alerts.yml 文件，该文件就是告警规则，需要在该文件下编写你的告警规则，以磁盘空间使用率为例：

groups:
- name: "servers monitor"
  rules:  
  - alert: "diskUsage" #服务器磁盘空间使用率
    expr: (1-sum(node_filesystem_avail_bytes{mountpoint =~"/hdd.*?|/ssd.*?|/home.*?"})by (instance,mountpoint)/sum(node_filesystem_size_bytes{mountpoint =~"/hdd.*?|/ssd.*?|/home.*?"})by(instance,mountpoint))*100>90
    for: 5m
    labels:
      status: warning
    annotations:
      summary: "{{$labels.instance}} {{$labels.mountpoint}}: High disk Usage Detected"
      description: "{{$labels.instance}} {{$labels.mountpoint}} disk Usage is: {{$value}}%, above 90%"   

最后在 Alertmanager 安装目录下新建一个 template 文件夹，在 template 文件夹里新建一个 wechat.tmpl 文件，该文件就是消息模板，在其中输入以下内容：

{{ define "wechat.default.message" }}
{{- if gt (len .Alerts.Firing) 0 -}}
{{- range $index, $alert := .Alerts -}}
{{- if eq $index 0 }}
========= 监控报警 =========
告警状态：{{   .Status }}
告警类型：{{ $alert.Labels.alertname }}
故障主机: {{ $alert.Labels.instance }}
告警主题: {{ $alert.Annotations.summary }}
告警详情: {{ $alert.Annotations.message }}{{ $alert.Annotations.description}}
故障时间: {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
========= = end =  =========
{{- end }}
{{- end }}
{{- end }}
{{- if gt (len .Alerts.Resolved) 0 -}}
{{- range $index, $alert := .Alerts -}}
{{- if eq $index 0 }}
========= 异常恢复 =========
告警类型：{{ .Labels.alertname }}
告警状态：{{   .Status }}
告警主题: {{ $alert.Annotations.summary }}
告警详情: {{ $alert.Annotations.message }}{{ $alert.Annotations.description}}
故障时间: {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
恢复时间: {{ ($alert.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}
{{- if gt (len $alert.Labels.instance) 0 }}
实例信息: {{ $alert.Labels.instance }}
{{- end }}
========= = end =  =========
{{- end }}
{{- end }}
{{- end }}
{{- end }}

以上，就完成了企业微信告警的配置。

重启 Prometheus，然后进入 alertmanager 安装目录，运行以下代码启动 alertmanager：

nohup ./alertmanager --config.file=alertmanager.yml --web.listen-address=":9093" --cluster.listen-address=localhost:9095 &

其中，--config.file 指定 alertmanager 的配置文件，--web.listen-address 指定 alertmanager 的运行端口，这里设置为9093，--cluster.listen-address 指定集群端口，默认值为9094，若默认端口被占用，则需指定一个未被占用的端口。

启动了 alertmanager 之后，在浏览器地址栏输入 Prometheus 的 IP 和端口，进入 prometheus，然后点击 Alerts，就会出现如下所示界面：

表示告警规则创建成功了。触发告警规则后，企业微信收到的信息样式如下：

至此，企业微信告警部署完毕，用户可根据上述步骤开启 DolphinDB 集群监控的企业微信告警。