实现设备指标的采集监控和展示

本文这里使用的 Telegraf 版本为 1.24.4。

下载并安装

wget https://dl.influxdata.com/telegraf/releases/telegraf_-_1.24.4_linux_amd64.tar.gz
tar xf telegraf-1.24.4_linux_amd64.tar.gz

详细请参考Telegraf 官方指南。

本文这里使用的 Grafana 版本为 9.3.2。

下载并安装

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.2-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.2-1.x86_64.rpm

启动 Grafana

1. 启动 Grafana 命令。

systemctl start grafana-server
systemctl enable grafana-server

1. 防火墙开放 Grafana 端口号，Grafana 服务默认端口 3000。

firewall-cmd --zone=public --add-port=3000/tcp --permanent 
firewall-cmd --reload

1. 本机打开 Grafana，检验是否安装成功。

http://localhost:3000/

详细请参考 Grafana 官方指南。

本文这里使用社区版单机单节点 server，版本为 2.00.7。建议使用 2.00.x 版本。

下载并安装

1. 从 DolphinDB 官网下载版本为 2.00.7 的社区版 DolphinDB。
2. 将下载的压缩包放到 Linux 服务器的指定路径下，并解压完成安装。

详细请参考 DolphinDB 安装使用指南。

启动 DolphinDB

1. 进入 server 目录，给 dolphindb 文件添加读写改权限。

chmod +x dolphindb   

1. 防火墙开放 8848 端口号（dolphindb 服务默认端口）。

firewall-cmd --zone=public --add-port=8848/tcp --permanent 
firewall-cmd --reload

1. 启动 DolphinDB。

前台启动命令：
./dolphindb
后台启动命令:
nohup ./dolphindb -console 0 &

下载插件

1.下载附件 telegraf-dolphindb-outputs , 放到自行指定路径下，得到插件文件 telegraf-dolphindb-outputs。

1. 将插件文件 telegraf-dolphindb-outputs 授予可执行权限并移动至 $PATH 路径。

export PATH=$PATH:/xxxx/
source /etc/profile

自行编译插件

1. 下载附件 telegraf.zip，放到自行指定路径下，得到编译源码。
2. 安装编译环境

编译环境为 go 环境，本文使用的 go 环境版本为 1.19.4。

①从 go 官网下载 go 安装包。

②将下载的压缩包放到 Linux 服务器的自行指定路径下。

③删除原环境自带的 go 环境，并解压下载的 go 压缩包到自行指定路径。

rm -rf /usr/local/go && tar -C /usr/local -xzf go1.19.4.linux-amd64.tar.gz

④将 go 环境添加到系列变量。

export PATH=$PATH:/usr/local/go/bin
source /etc/profile

⑤添加后，查看 go 版本检验是否添加成功。

 go version

详细请参考 Go 官方指南。

1. 编译插件

①将下载的编译源码包 telegraf.zip 进行解压，得到项目 go-plugins。

②在 go-plugins 的根目录执行编译脚本。

go build -mod mod -o telegraf-dolphindb-outputs ctutorials/telegraf-outputs/telegraf-outputs.go

若执行脚本出错，显示错误：dial tcp 172.217.27.145:443: i/o timeout，请在 /etc/profile 中设置 GOPROXY 环境变量（改一下代理）, 之后启用 go module，用下面的命令：

export GOPROXY=https://goproxy.io
export GO111MODULE=on

③将编译好的插件文件 telegraf-dolphindb-outputs 授予可执行权限并移动至 $PATH 路径（可将 go-plugins 的根目录添加到系统变量中）。

export PATH=$PATH:/xxxx/go-plugins/
source /etc/profile

④完成 telegraf-dolphindb-outputs 插件编译。

在启动 Telegraf 前，需在 DolphinDB 中建立相应的库表环境：分布式表 disk 和 system，用于接受并存储 Telegraf 采集到的 disk 和 system 数据。下面提供两种建立库表环境的方式。两种方式执行后，均可在 DolphinDB 中生成 path 为 "dfs://telegraf" 的数据库，且该数据库中有如下两张分布式表：

• 表 disk

• 表 system

用 DolphinDB 脚本建库建表

//登录
login(`admin,`123456)

//数据库名
dbName = "dfs://telegraf"

//表 disk
diskColnames = `timestamp`host`total`used`free`used_percent
diskColtypes =[TIMESTAMP,STRING,LONG,LONG,LONG,DOUBLE]
disk = table(1:0,diskColnames,diskColtypes)

//表 system
systemColnames = `timestamp`uptime_format
systemColtypes =[TIMESTAMP,STRING]
system = table(1:0,systemColnames,systemColtypes)

//创建分布式库 db_telegraf 和分布式表 db_disk,db_system 
db_telegraf = database(directory=dbName, partitionType=VALUE,partitionScheme = 2022.01.01..2022.12.31)
db_disk = createPartitionedTable(dbHandle = db_telegraf,table = disk,tableName = "disk",partitionColumns ="timestamp",compressMethods = {timestamp:"delta"});
db_system = createPartitionedTable(dbHandle = db_telegraf,table = system,tableName = "system",partitionColumns ="timestamp",compressMethods = {timestamp:"delta"});

用项目提供的 Go 脚本建库建表

1.修改本项目 test/dolphindb.go 文件中的变量 DefaultCfg。

DefaultCfg = &outputs.Config{
    Address:      "localhost:8848", //单节点DolphinDB的地址
    User:         "admin", //DolphinDB账户，默认为admin
    Password:     "123456", // DolphinDB账户密码，默认为123456
    ……
}

2.在本项目 test 路径下执行以下指令。

go test -v dolphindb.go telegraf.go telegraf_test.go -test.run TestPreparePartitionedTableForTelegraf -count=1
go test -v dolphindb.go telegraf.go telegraf_test.go -test.run TestPrepareSecondPartitionedTableForTelegraf -count=1

Telegraf 配置文件准备

1. 创建配置文件 TelegrafConfig，存放路径 $TelegrafConfig。详细配置文件信息，请参考附件 TelegrafConfig，其中 OUTPUT PLUGINS 和 INPUT PLUGINS 的内容，请根据需求自行设定，本文只提供参考。

DolphinDB Output 配置文件准备

1. 创建 DolphinDB Output Disk 配置文件：/dolphindb/dolphindb-output-disk.conf，配置文件路径与 TelegrafConfig 中的 command 使用路径一致，dolphindb-output-disk.conf 示例如下：

# Configuration for DolphinDB to send metrics to.
[[outputs.dolphindb]]
# The address of DolphinDB formatted as {ip}:{port}
address = "localhost:8848"
# The user of DolphinDB.
user = "admin"
# The password of DolphinDB.
password = "123456"
# Name of the database to store metrics in.
database = "dfs://telegraf"
# Name of the table to store metrics in.
table_name = "disk"
# The number of messages to be batched.
# If batch_size is 1, the data is sent to the server immediately after it is written.
# If batch_size is more than 1, the data is sent to the server only when the amount of data reaches batch_size.
batch_size = 10
# An integer more than 0 in milliseconds.
# The data will be sent to the server after written for throttle time,
# even through the data amount is less than the batch_size.
throttle = 1000
# The name of the metrics.
metric_name = "disk"
# The count of the goroutine to send the metrics data to the DolphinDB.
goroutine_count = 1
# The partition column of the table, only works when the goroutine_count is more than 1.
partition_col = "timestamp"
# If use the debug mode.
debug = true

1. 创建 DolphinDB Output System 配置文件：/dolphindb/dolphindb-output-system.conf，配置文件路径与 TelegrafConfig 中的 command 使用路径一致。dolphindb-output-system.conf 与 dolphindb-output-disk.conf 内容一致，只需修改 table_name 为“system”和 metric_name 为“system” ，如下：

# Name of the table to store metrics in.
table_name = "system"

# The name of the metrics.
metric_name = "system"

1. 执行以下脚本启动，Telegraf 服务。

telegraf --config $TelegrafConfig

报错可能是 TelegrafConfig 存放路径有误，可在 TelegrafConfig 存放路径下执行以下脚本启动。

telegraf --config TelegrafConfig

1. 查看 telegraf 程序运行情况。

ps -ef | grep telegraf

1. 连接并登录 DolphinDB，可以打开 localhost:8848，在线登录查看。

http://localhost:8848/

1. 查询指标。

查询 disk 表 ：查询最近的100条指标数据
disk = loadTable("dfs://telegraf","disk")
select top 100 * from disk order by timestamp desc

查询 system 表 ：查询最近的100条指标数据
system = loadTable("dfs://telegraf","system")
select top 100 * from system order by timestamp desc

表 disk

表 system

1. 在本机浏览器中打开地址。

http://localhost:3000/

1. 登录账号，系统初始用户名密码为 admin/admin。

username = admin
password = admin

1. 依次点击“Settings” >> “Data Sources“ >> “Add data source“，在搜索栏中搜索 DolphinDB，点击并设置其配置项如下 (用户名为 admin , 密码为 123456)，点击 Save&test 测试连接。

1. 依次点击“Dashboards” >> “Browse“>>”New”>>”New Dashboard”>>”Add a new panel”，新建一个数据面板。

1. 在 Grafana 底部的代码输入栏中输入下方代码（按时间段分组，查询各时间段磁盘总量、使用量、可用量、使用百分比，4 个指标数据的平均情况）。

dfs_disk = loadTable("dfs://telegraf","disk")
select timestamp,avg(total),avg(used),avg(free),avg(used_percent) from dfs_disk group by timestamp 

点击右边 Panel options，设置 Panel Title 为 disk。

点击 Save，设置 Dashboard name 和 Folder（仪表盘名和目录）。

1. 点击 Panel 内部 Zoom to data，在 Grafana 中可视化 DolphinDB 中的数据，展示了磁盘的 4 个指标的平均情况：

磁盘总量：avg_total；磁盘使用量：avg_used；磁盘可用量：avg_free；磁盘使用百分比：avg_used_percent

1. 点击其中一个指标（如磁盘使用量 avg_used），对筛选时间段进行放大观察。