DolphinDB Exporter 集群监控最佳实践

1. 单击官方链接下载对应版本软件包：

   

2. 将软件包传输至服务器并解压。

   建议安装目录为 <DolphinDB 安装目录>/clusterDemo/dolphindb_exporter，安装完成后，可直接运行软件包内的 startExporter.sh 实现后台启动。

1. 配置环境变量。

   • DOLPHINDB_USERNAME：DolphinDB 用户名。默认为 admin。

   • DOLPHINDB_PASSWORD：DolphinDB 密码。默认为 123456。

   注：

   建议创建一个管理员用户专门给 DolphinDB Exporter 使用，例如：createUser("dolphindb_exporter", "123456", isAdmin=true)。

   出于安全考虑，建议每次启动 DolphinDB Exporter 前，在 Shell 中配置环境变量：

   # 关闭历史记录
   export HISTSIZE=0
   # dolphindb_exporter 环境变量
   export DOLPHINDB_USERNAME="dolphindb_exporter"
   export DOLPHINDB_PASSWORD="123456" #修改用户对应的密码
   #重新开启历史记录
   export HISTSIZE=1000

2. 执行启动脚本。

   cd clusterDemo/dolphindb_exporter
   bash startExporter.sh
   # 默认使用 8000 端口，如果需要指定端口号，可以添加参数
   # bash startExporter.sh 8001

   该启动脚本会根据 ../config 目录下的配置文件监控本机节点。若集群的配置文件位于其他目录中，需要修改脚本内的 -config-dir 参数或者参考以下命令将第二个参数设置为实际的配置文件目录。

   bash startExporter.sh 8000 ../../config

   若监控单节点，需要修改 config 文件夹中的 cluster.nodes 文件，其 mode 为 single，例如：

   localSite,mode,computeGroup,zone
   192.xxx.xxx.xx:8848:local8848,single,,

   启动后将在当前目录中生成日志文件 dolphindb_exporter.log。

• -collect.<scraper_name>：是否收集特定类别的指标（默认：true），其中 <scraper_name> 为指标类别，可通过 --help 查看所有指标类别。

• -config-dir：配置文件目录（默认："config"）。

  • 包含 DolphinDB 集群配置的目录。

  • 配置文件应与 DolphinDB 集群配置一致。

• -listen-port：监听端口号（默认：8000）。

• -local-ip-only：是否仅监控本机节点（默认：false）。

  • 启用后只采集运行 DolphinDB Exporter 的机器上的 DolphinDB 节点指标。

  • startExporter.sh 启动脚本里面已经设置为 true。

  • 只获取 DolphinDB 指标的场景，可以只在一台服务器上部署 DolphinDB Exporter。此时设置该参数为 false。

• -log-level：日志等级（默认：info），可选值为 debug 、info、warn、error。

• -pool-size：每个 DolphinDB 节点的连接池大小（默认：10），注意不要配置过大，避免超过 DolphinDB 的最大连接数。

• -reconnect-num：连接池重连次数（默认：2），每次 Prometheus 拉取时，DolphinDB Exporter 连接 DolphinDB 失败重试次数，若超过失败次数，此次拉取就不返回指标。

• -version：显示版本信息并退出。

• -help：显示帮助信息。

1. 访问官网 Prometheus Server，下载对应版本的软件包：

   

2. 将软件包传输至服务器并进行解压，可看到如下目录结构：

   

   其中，data 是数据的存储路径，prometheus.yml 是 Prometheus 的配置文件。启动 Prometheus 服务时，会默认加载当前路径下的 prometheus.yml 文件，若配置文件不在当前目录下，可通过 --config.file 指定。

1. 编辑配置文件。

   复制 dolphindb_exporter 安装包里面的 rules.yaml 和 alerts.yaml 文件到 Prometheus 安装目录下（也可以将 Prometheus 配置文件里的 rule_files 设置为实际的文件路径）。

   修改 Prometheus 配置文件（默认位于 <Prometheus 安装目录/prometheus.yml），添加 rule_files 和 scrape_configs。

   rule_files:
     - "./rules.yaml" # 需要修改为实际路径
     - "./alerts.yaml" # 需要修改为实际路径
   
   scrape_configs:
     - job_name: "dolphindb_exporter_targets_<MACHINE-ID>" # 需要唯一                                                      
       http_sd_configs:                      
         - url: http://<DOLPHINDB-EXPORTER-HOSTNAME>:8000/targets # 需要修改为实际地址
           refresh_interval: 1m                         
       metrics_path: /probe           
       relabel_configs:    
         - source_labels: [__address__]      
           target_label: __param_target
         - source_labels: [__param_target]              
           target_label: instance            
         - target_label: __address__
           replacement: <DOLPHINDB-EXPORTER-HOSTNAME>:8000 # 需要修改为实际地址       
     - job_name: 'dolphindb_exporter_<MACHINE-ID>' # 需要唯一            
       static_configs:                 
         - targets: [<DOLPHINDB-EXPORTER-HOSTNAME>:8000] # 需要修改为实际地址
     - job_name: 'dolphindb_exporter_machine_<MACHINE-ID>' # 需要唯一            
       static_configs:                 
         - targets: [<DOLPHINDB-EXPORTER-HOSTNAME>:8000] # 需要修改为实际地址
       metrics_path: /machine_metrics

   注：

   • 需要修改 <MACHINE-ID> 为自定义的机器 ID，使得多台机器的每个 job_name 唯一，例如 job_name: "dolphindb_exporter_targets_1"。

   • 需要修改 <DOLPHINDB-EXPORTER-HOSTNAME> 为 DolphinDB Exporter 所在的服务器地址。

   • 需要修改 rules.yaml 和 alerts.yaml 的路径为实际路径。

   • 以上只是单台机器的配置，多台机器配置可以复制 scrape_configs 部分内容，然后修改<MACHINE-ID> 和 <DOLPHINDB-EXPORTER-HOSTNAME>。

   完整示例

   # my global config
   global:
     scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
     evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
     # scrape_timeout is set to the global default (10s).
   
   # Alertmanager configuration
   alerting:
     alertmanagers:
       - static_configs:
           - targets:
             # - alertmanager:9093
   
   # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
   rule_files:
     - "./rules.yaml" # 需要修改为实际路径
     - "./alerts.yaml" # 需要修改为实际路径
   
   # A scrape configuration containing exactly one endpoint to scrape:
   # Here it's Prometheus itself.
   scrape_configs:
     # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
     - job_name: "prometheus"
   
       # metrics_path defaults to '/metrics'
       # scheme defaults to 'http'.
   
       static_configs:
         - targets: ["localhost:9090"]
          # The label name is added as a label `label_name=<label_value>` to any timeseries scraped from this config.
           labels:
             app: "prometheus"
             
     - job_name: "dolphindb_exporter_targets_43" # 需要唯一                                          
       http_sd_configs:                 
         - url: http://192.168.100.43:8000/targets # 需要修改为实际地址
           refresh_interval: 1m                         
       metrics_path: /probe           
       relabel_configs:    
         - source_labels: [__address__]      
           target_label: __param_target
         - source_labels: [__param_target]              
           target_label: instance            
         - target_label: __address__
           replacement: 192.168.100.43:8000 # 需要修改为实际地址       
     - job_name: 'dolphindb_exporter_43' # 需要唯一            
       static_configs:                 
         - targets: [192.168.100.43:8000] # 需要修改为实际地址
     - job_name: 'dolphindb_exporter_machine_43' # 需要唯一            
       static_configs:                 
         - targets: [192.168.100.43:8000] # 需要修改为实际地址
       metrics_path: /machine_metrics
   
     - job_name: "dolphindb_exporter_targets_44" # 需要唯一                                          
       http_sd_configs:                 
         - url: http://192.168.100.44:8000/targets # 需要修改为实际地址
           refresh_interval: 1m                         
       metrics_path: /probe           
       relabel_configs:    
         - source_labels: [__address__]      
           target_label: __param_target
         - source_labels: [__param_target]              
           target_label: instance            
         - target_label: __address__
           replacement: 192.168.100.44:8000 # 需要修改为实际地址       
     - job_name: 'dolphindb_exporter_44' # 需要唯一            
       static_configs:                 
         - targets: [192.168.100.44:8000] # 需要修改为实际地址
     - job_name: 'dolphindb_exporter_machine_44' # 需要唯一            
       static_configs:                 
         - targets: [192.168.100.44:8000] # 需要修改为实际地址
       metrics_path: /machine_metrics
   
     - job_name: "dolphindb_exporter_targets_45" # 需要唯一                                          
       http_sd_configs:                 
         - url: http://192.168.100.45:8000/targets # 需要修改为实际地址
           refresh_interval: 1m                         
       metrics_path: /probe           
       relabel_configs:    
         - source_labels: [__address__]      
           target_label: __param_target
         - source_labels: [__param_target]              
           target_label: instance            
         - target_label: __address__
           replacement: 192.168.100.45:8000 # 需要修改为实际地址       
     - job_name: 'dolphindb_exporter_45' # 需要唯一            
       static_configs:                 
         - targets: [192.168.100.45:8000] # 需要修改为实际地址
     - job_name: 'dolphindb_exporter_machine_45' # 需要唯一            
       static_configs:                 
         - targets: [192.168.100.45:8000] # 需要修改为实际地址
       metrics_path: /machine_metrics

2. 启动 Prometheus。

   执行以下命令启动 Prometheus：

   nohup ./prometheus --config.file=prometheus.yml --web.listen-address=":9090" &

   注：

   启动 Prometheus 前，检查默认端口是否已被占用。Prometheus 默认使用 9090 端口；若该端口已被占用，需要同时修改 Prometheus 配置文件和启动参数中的端口。

   在 prometheus.yml 的 scrape_configs 中，找到 job_name 为 prometheus 的配置项，并修改其下方 targets 中的端口号。随后，将上述启动命令中的 web.listen-address 参数也修改为相同的端口。

1. 从官网下载对应版本的软件包（本教程使用的版本为 Grafana Enterprise 13.0.1），官网提供了不同系统的安装包，本教程使用 Standalone Linux Binaries 安装包作为示例，其他安装包的安装方法见官网文档。

2. 解压安装包。

3. 下载 DolphinDB 提供的 dolphindb-datasource-next 插件，并且解压到 Grafana 的 data/plugins/dolphindb-datasource-next 目录中（如果 Grafana 是通过 Linux 软件包安装的，插件的安装目录通常为 /var/lib/grafana/plugins/），如果没有 plugins 文件夹需要自行创建并且在该文件夹中创建 dolphindb-datasource-next 文件夹。

4. 修改 Grafana 配置文件（conf/defaults.ini），使其允许加载未签名的 dolphindb-datasource-next 插件。每次修改配置项后，需重启 Grafana。

   推荐阅读 Grafana 配置说明文档，然后打开并编辑配置文件。

   在 [plugins] 部分下面取消注释 allow_loading_unsigned_plugins，并配置为 dolphindb-datasource-next，例如：

   修改前：

   # Enter a comma-separated list of plugin identifiers to identify plugins to load even if they are unsigned. Plugins with modified signatures are never loaded.
   ;allow_loading_unsigned_plugins =

   修改后：

   # Enter a comma-separated list of plugin identifiers to identify plugins to load even if they are unsigned. Plugins with modified signatures are never loaded.
   allow_loading_unsigned_plugins = dolphindb-datasource-next

在 Grafana 安装目录的 bin 文件夹中执行以下命令（如果 Grafana 是通过 Linux 软件包安装的，可以使用 systemd 方法启动，详情参考 Install Grafana | Grafana documentation）：

nohup ./grafana server &

默认端口为 3000，如果被占用需要修改配置文件中的 http_port 参数。

1. 在浏览器中访问 http://IP:Port，进入到 Grafana 登录页面。

   

   默认的账号密码是 admin/admin，登录成功后如下所示：

   

2. 配置 Prometheus 数据源。

   1. 在左侧导航栏中单击 Connections > Data sources，进入数据源添加界面。

      

   2. 单击 Add data source。

      

   3. 选择 Prometheus，进入数据源配置页面。在 Prometheus server URL 输入框中填写 Prometheus 服务器的 IP 和端口（其他设置保持默认）。

      

   4. 单击 Save & test。若出现了 Successfully queried the Prometheus API 说明数据源连接成功；若连接失败，检查 Prometheus 端口是否被占用。

      

3. 配置 dolphindb-datasource-next 数据源。

   1. 在 Add data source 页面的搜索框中输入 DolphinDB，单击 Dolphindb-Datasource。

      

   2. 填写 DolphinDB 数据节点 IP 和端口以及管理员用户等信息。

   3. 单击 Save & test。若出现 Data source is working，说明成功连接到 DolphinDB。

      

4. 配置数据面板。

   1. 在 Dashboards 页面的右上角单击 New > Import。

      

   2. 上传 DolphinDB Exporter 安装包中的 dolphindb-overview.json 文件，单击 Import。

      

   3. 自动跳转到新导入的面板：

      

启用邮件告警功能，需修改 Grafana 的配置文件中的[smtp]。

1. 打开 defaults.ini（默认路径为 /grafana/conf/defaults.ini），找到[smtp]选项，按如下说明进行修改：

   • 将 enabled 设置为 true，表示开启邮件通道。

   • 将 host 设置为告警邮箱所在的服务器。例如，以 163 邮箱作为告警邮箱，则 host 应为 smtp.163.com:465。

   • 将 user 设置为接收告警信息的邮箱地址，password 处需要填写授权码（自行在对应邮箱的官网申请），而不是 user 的登录密码，内网邮箱一般只需要密码即可，请按实际情况填写。

   

2. 找到 [server] 选项，将 http_addr 和 domain 修改为 Grafana 服务器的公网 IP。告警邮件里面的跳转地址会改成 root_url 对应的地址。

   

3. 重启 Grafana 。

Grafana 中的 Alert 模块提供了告警功能，使用告警功能时，需要在 Alert rules 模块中添加告警规则。Alert rules 主要作用为：对指标进行监控，当指标触发告警条件时，进行告警处理。一个告警规则至少要包含告警条件和告警评估。

添加通知方式

1. 在左侧导航栏单击 Alerting > Notification configuration，在 Contact points 页签中单击 New contact point。

   

2. 选择 email 集成方式并填写相关信息，单击 Save contact point。

   

添加告警规则

在左侧导航栏单击 Alerting > Alert rules，单击页面右上角的 New alert rule。

按照以下步骤添加告警规则：

1. 在 Name 输入框中填写告警规则的名称。

2. 在 Define query and alert condition 区域选择之前创建的 Prometheus 数据源。

3. 选择 Builder 或 Code 模式设置需要监控的指标。本例中，在 Code 模式中填写 PromQL 表达式，将指标设置为 DolphinDB 节点已使用内存占最大内存的百分比：

   dolphindb_perf_memory_used / (dolphindb_config_max_mem_gigabytes * 1024* 1024 * 1024) * 100

4. 在 Alert condition 区域设置告警条件，此处为 IS ABOVE（超过）90，含义为当 DolphinDB 节点已使用内存占最大内存的百分比超过 90 时触发告警。Grafana 还提供了其他条件比如 IS BELOW 、IS EQUAL TO，详情参考官方教程。

5. 在 Add folder and labels 区域选择存储告警规则的文件夹，如果没有可以单击 New folder 新建文件夹。

6. 在 Set evaluation behavior 区域选择告警规则评估组，用于定义规则被评估的频率，如果没有可以单击 New evaluation group 新建评估组。

7. 在 Pending period 区域选择阈值条件被满足的情况下持续多久之后触发告警，本例中选择 1 分钟。

8. 在 Keep firing for 区域选择在阈值条件不再被满足的情况下，告警的持续时间。本例中选择 None，表示立即停止告警。

9. 在 Contact point 下拉框中选择告警通知方式，本例中选择之前添加的邮件告警方式。

触发告警之后发送邮件：

解除告警之后发送邮件：

若收到告警消息后需要跳转到具体页面，可以单击 View alert。