流计算监控

流计算监控负责监控各类流计算任务的状态。用户通过点击功能面板里的流计算监控进入监控页面,可以查看以下任务的状态:

  • 流计算发布订阅状态:显示流计算订阅节点的工作线程的状态和、本地发布节点和它的所有订阅节点之间的连接状态。表中各字段说明可分别查看 getStreamingStat().subWorkersgetStreamingStat().pubConns
  • 流计算引擎状态:显示各类流计算引擎的状态,表中各字段说明可查看 getStreamEngineStat()
  • 流数据表状态:显示非持久化共享流数据表和持久化共享流数据表的状态,表中各字段说明可查看 getStreamTables 函数。


通过页面顶部的标签可以切换并查看所需内容。顶部的刷新按钮可对当前标签页的内容进行即时刷新。

流计算发布订阅状态

订阅节点工作线程状态

  • 主要展示内容为线程 ID、订阅主题、队列深度、队列深度上限、最近处理失败的错误信息、最近错误时刻、失败消息总数、已处理消息数、最近处理消息 ID 和最近错误消息 ID。
  • 其余信息全部放在更多信息列进行展示,用户可以进行点击查看,以弹窗的形式展示。
  • 可使用颜色监控队列深度,0 为绿色,1-10000 为橙色,10000 以上为红色。
  • 可按照队列深度进行倒序排列。
  • 可按照错误信息进行倒序排列,有错误信息的放在上面。
  • 由于表格宽度有限,错误信息进行简要展示,用户可点击查看详细错误信息。

发布状态

  • 订阅节点:订阅节点的 IP 地址和端口号。
  • 发布队列深度上限:发布节点上的消息队列深度的上限。
  • 发布队列深度:发布节点上的当前消息队列深度。根据队列深度的不同,数字将呈现不同的颜色,当数字为 0 时,显示绿色;当数字为 1-10000 时,显示橙色;当数字大于 10000 时,显示红色。
  • 表名:发布节点上所有共享流数据表的表名。

流计算引擎状态

通过本页,用户可以了解系统创建好的所有流计算引擎,也可以选择引擎进行批量删除。



包含以下信息:

  • 主要展示内容为流引擎的公共列:引擎名、引擎类型、最近错误信息、内存、分组数、行数(单表)、行数(左表)、行数(右表)、内存清理阈值、指标数量、指标源码、用户、状态。
  • 对流引擎的私有信息放在更多信息列进行展示,用户可以进行点击查看,以弹窗的形式展示。
  • 由于表格宽度有限,错误信息进行简要展示,用户可点击查看详细错误信息。
  • 可按照内存进行降序排列。
  • 指标源码过长,显示不完全时可通过鼠标悬浮查看到完整内容。

流数据表状态

通过本页,用户可以了解所有共享流数据表的状态、持久化线程的状态,也可以选择流数据表进行批量删除。



非持久化共享流数据表状态

本栏展示非持久化共享流数据表的状态,包含以下信息:
  • 表名:流数据表的名称。
  • 行数:内存中的行数。
  • 列数:表所包含的列数。
  • 内存大小:表所占用的内存大小。

持久化共享流数据表状态

本栏展示持久化共享流数据表的状态,包含以下信息:
  • 表名:流数据表的名称。
  • 加载到内存:是否已加载到内存。
  • 列数:表所包含的列数。
  • 内存大小:内存中保留的记录数(sizeInMemory)。
  • 总行数:流数据表中的总记录数(totalSize)。
  • 内存中行数:加载到内存中的总行数。
  • 内存中偏移量:当前内存中数据相对总记录数的偏移量(memoryOffset)。memoryOffset = totalSize - sizeInMemory。
  • 磁盘中行数:已经持久化到磁盘的记录总数。
  • 磁盘中偏移量:当前磁盘上数据相对总记录数的偏移量。
  • 是否异步持久化:是否采用异步的方式进行持久化。
  • 保留时间:日志文件的保留时间,单位为分钟。
  • 是否压缩:是否采用压缩存储。
  • 持久化路径:流数据表在磁盘上的存储路径。若路径很长,未显示完整,则点击“详细”,查看完整的路径信息。
  • 持久化线程:异步进行流数据表持久化的工作线程数量。
  • Raft 组:高可用流数据表所属 Raft 组的ID。对于普通的流数据表,该值为空。
  • Raft 日志序号:最新的 Raft 日志的逻辑序列号。

持久化线程状态

当开启了异步持久化时,将会在本栏显示持久化工作线程的状态。包含以下信息:
  • 线程 ID:当前持久化工作线程的 ID。
  • 订阅队列深度上限:持久化线程中消息队列深度的上限。
  • 订阅队列深度:持久化线程中消息队列的深度。根据队列深度的不同,数字将呈现不同的颜色,当数字为 0 时,显示绿色;当数字为 1-10000 时,显示橙色;当数字大于 10000 时,显示红色。
  • 表名:已经持久化的流数据表。