存算分离最佳实践教程

本节列举了存算分离相关的配置项，帮助用户在之后的部署中合理设置参数。具体参数解释请参考 功能配置。

本节介绍横向扩展计算组配置的具体部署过程。如图 2-1 所示，基于存算一体架构的集群是 1 个 由 3 台服务器组成的高可用集群，供不同的业务部门或业务小组使用。

如果其中部分小组有独立的服务器资源，常用数据相对固定或希望与其他部门进行资源隔离，可以使用存算分离的架构，在集群中增加服务器并部署计算组，供小组成员使用。基于存算分离的集群架构如图 2-2 所示。示例架构在 P4 服务器上部署了一个计算组 cGroup1，其中的计算节点由代理节点统一进行管理，当读取未缓存的数据时会从数据节点进行获取。

有时我们不希望增加服务器，但目前部署的服务器中仍有充足的剩余磁盘空间和计算资源，这时我们可以纵向扩展集群，在已经部署 DolphinDB 集群的服务器上增加计算组，如图 2-8 所示。具体部署可以先参考 附录1 中的步骤增加 controller.cfg 的存算分离参数，再按照 2.2.2 小节的增加计算组步骤进行配置。

如图 2-9 所示，在 集群节点管理 页面，下拉到计算组部分，每个计算组旁边有 删除计算组 按钮，点击即可删除计算组。

对于已经配置好的计算组，我们同样可以通过 web 的集群管理进行计算节点的增加或删除。

增加计算节点

如图 2-10 及 2-11 所示，在 集群节点管理 中，点击需要增加计算节点的计算组下方 新增节点 并设置节点参数，设置完成后点击 保存 即可。注意：增加节点后，新节点默认为关闭状态，需要前往 Web 集群总览页面启动。

删除计算节点

通过从计算组中删除计算节点进行缩容。如图 2-12 所示，在 集群节点管理 中，点击需要删除的计算节点右侧 删除 按钮即可完成节点删除。

在 4 台服务器上进行测试，配置如下：

• 操作系统：CentOS Linux 7 (Core)
• CPU 型号：Intel(R) Xeon(R) Gold 5220R CPU @ 2.20GHz
• 内存：16*32 GB RDIMM, 3200MT/s
• 网络：9.41Gbps（万兆以太网）
• 磁盘：6*3.84TB 固态硬盘 SATA 读取密集型 6Gbps 512 2.5 英寸 Flex Bay AG 硬盘, 1DWPD

本次测试在 4 台服务器上搭建了高可用集群，数据采用双副本。其中 3 台服务器配置 1 个控制节点，1 个数据节点，1 个计算节点；第 4 台服务器配置 1 个代理节点，1 个计算组，包含 2 个计算节点。

使用 2023 年 2 月的通联快照和逐笔成交数据进行测试，数据使用 “时间维度按天 + 股票维度 HASH50” 的分区规则。使用存储引擎 TSDB，使用 “交易所类型 + 股票代码 + 交易时间” 作为排序列。

测试对 3 台存储服务器设定了 CPU 核数为 12，并对计算组服务器的 CPU 核数设定了梯度测试，分别测试了 CPU 为 6、12、24 及 36 核时的性能表现。

• 控制节点的计算组参数均采用了默认配置：

  enableComputeNodePrefetchData=true
  computeNodeCachingQueryThreshold=1
  computeNodeCachingDelay=360

• 计算节点的计算组参数配置如下：

  computeNodeMemCacheSize=8192
  computeNodeDiskCacheSize=262144
  enableComputeNodeCacheEvictionFromQueryThread=true
  computeNodeCacheDir=/ssd/ssd0/SCSeparationDDB/Disaggregation/<ALIAS>, /ssd/ssd1/SCSeparationDDB/Disaggregation/<ALIAS>, /ssd/ssd2/SCSeparationDDB/Disaggregation/<ALIAS>, /ssd/ssd3/SCSeparationDDB/Disaggregation/<ALIAS>
  computeNodeCacheMeta=/ssd/ssd0/SCSeparationDDB/Disaggregation/<ALIAS>/meta, /ssd/ssd1/SCSeparationDDB/Disaggregation/<ALIAS>/meta, /ssd/ssd2/SCSeparationDDB/Disaggregation/<ALIAS>/meta, /ssd/ssd3/SCSeparationDDB/Disaggregation/<ALIAS>/meta

本节在计算节点 cGroup1_node1 和数据节点 dnode1 上进行了数据查询和计算场景的测试，验证存算分离架构中的计算组查询和计算性能，对结果进行了统计。查询和计算测试在写入完成 5 分钟后进行（对应 computeNodeCachingDelay 参数，即查询数据非热点写入分区），每种核数的计算节点测试完成之后会清除缓存中的数据。冷查询表示在无数据缓存的情况下进行查询，热查询在对应的冷查询结束一段时间后执行（对应 computeNodeCachingQueryThreshold 参数，即查询数据为热点查询分区），此时对应的分区数据已经在缓存中。查询数据源为 level-2 快照表，查询 query 见附录 2。

• case 1：小数据量范围查询，随机 1 只股票 1 天的逐笔成交数据，查询数据量约 12,613 行 * 19 列数据，内存占用 1.3 MB，涉及分区数量为 1。计算节点 CPU 核数设置为 12，测试数据节点冷查询性能、计算节点无缓存查询性能、计算节点有缓存查询性能。

测试结果显示，在计算节点没有命中缓存的情况下，由于计算节点要将查询任务下推到数据节点执行，再将结果返回计算节点，增加了节点间网络 IO 开销，计算节点的冷查询性能会低于数据节点。在计算节点命中缓存的情况下，由于数据节点分布在三台服务器且采用双副本存储，所以部分查询会产生节点间网络 IO 开销，计算节点的查询性能会优于数据节点。

• case 2：大数据量范围查询，全市场股票 1 天的逐笔成交数据，查询数据量约 92,352,296 行 * 19 列数据，内存占用 9.7 GB，涉及分区数量为 50。分别测试了计算组服务器的 CPU 核数 为 6、12、24 及 36 核时的性能表现。

测试结果显示，在查询涉及到分区数较多时，查询性能随着计算组 CPU 核数增加而提高。

• case 3：大数据量聚合计算，按股票对全市场股票 1 周数据进行聚合，计算成交价最大值，查询数据量约 6,463 行 * 2 列数据，内存占用 76 KB，涉及分区数量为 250。分别测试了计算组服务器的 CPU 核数 为 6、12、24 及 36 核时的性能表现。

测试结果显示，对于大数据量聚合场景，查询性能随着计算节点可用 CPU 核数的增加线性提高。在 3 个数据节点，每个节点 12 核的情况下，使用数据节点进行涉及到多分区的计算任务时，可以将任务下发到每个节点，充分运用每个数据节点的 CPU 资源，而计算组由于只能使用组内节点的 CPU 资源，所以当计算组 CPU 核数低于数据节点总核数时，数据节点在复杂计算中的性能会优于计算组节点。

本节在计算节点 cGroup1_node1 上进行了预热缓存策略的性能测试，并对结果进行了统计。预热缓存策略对应参数 enableComputeNodePrefetchData ，具体参数解释参考 2.1.1。如果不开启异步缓存，当查询未命中缓存且符合缓存条件的分区时，计算节点会先从数据节点拉取数据并缓存，再执行查询。开启预热缓存后，查询上述分区时，查询将被下推到数据节点，之后再进行异步缓存，因此对于上述查询，开启预热缓存后的网络延迟会更低。

测试在写入完成 5 分钟后进行（对应 computeNodeCachingDelay 参数，即查询数据非热点写入分区）。测试内容会执行三次（对应 computeNodeCachingQueryThreshold 参数），即第一次查询时分区属于非热点查询分区，第二次查询时分区属于热点查询分区，第三次查询在第二次查询结束后一段时间进行，此时数据已经缓存在计算组中。计算组节点 CPU 核与数据节点 CPU 核数设置为 12 核。

测试内容为大数据量聚合计算 case，计算全市场股票 1 天数据计算买卖订单不平衡（Order Imbalance）。计算结果约 6450 行 * 3 列数据，内存占用 120 KB。

测试结果显示，当未触发缓存机制时，无论是否开启预热缓存，计算节点的查询任务都会下推到数据节点，因此查询用时差距较小。当触发缓存机制时，如果开启了预热缓存，计算节点仍会将任务下推到数据节点，之后进行异步缓存；如果不开启预热缓存，计算节点会先将数据缓存到计算组，再执行查询，因此查询用时显著高于其他场景。当查询数据已经缓存在计算组中时，开启预热缓存与不开启预热缓存的查询效率差不多。由于数据节点共有 3 个（总可用核数为 36 核），计算组节点共有 2 个（总可用核数为 24 核），数据节点总可用核数高于计算组节点，因此第 1 次查询的效率高于第 3 次查询。

本节针对多用户同时提交查询的场景，在 Python API 端进行了并发查询测试，验证存算分离架构中计算组的 API 并发查询性能，并对结果进行了统计。使用 Python API 连接计算组节点，测试了多种并发数场景下的查询性能。每次查询循环 100 次，并记录查询总耗时和每秒查询数 QPS。查询数据源为逐笔成交表。

• 查询场景 1 ：范围查询，随机 1 只股票 1 天数据，查询数据量约 16,800 行 * 19 列数据，内存占用约 1.8 MB，查询涉及分区数量为 1。计算节点 CPU 核数设置为 12，统计了不同并发数场景下的查询性能。

测试结果显示，每秒查询数整体随着并发数增长而增加。

• 查询场景 2 ：大数据量聚合计算，按股票对全市场股票 1 周数据进行聚合，计算成交价最大值，查询数据量约 6,463 行 * 2 列数据，内存占用 76 KB，查询涉及分区数量为 250。统计了不同 CPU 核数在高并发场景下的查询性能。

测试结果显示，当并发数较大或查询分区数较多时，查询性能受 CPU 核数影响较大。

部署示例采用 4 台服务器，其中 3 台服务器配置 1 个控制节点，1 个数据节点，1 个计算节点；第 4 台服务器配置 1 个代理节点，1 个计算组（包含 2 个计算节点）。

具体配置步骤如下：

四台部署服务器（P1, P2, P3, P4）对应的内网 IP 地址为：

P1：10.0.0.80
P2：10.0.0.81
P3：10.0.0.82
P4：10.0.0.83

1. 下载并更新软件授权许可

参考 高可用集群部署与升级 在每台服务器上下载 DolphinDB 安装包、解压并更新软件授权许可。

2. 集群配置

• P1, P2 和 P3 文件配置：参考 高可用集群部署与升级 配置 P1, P2 和 P3 的文件，并修改以下配置：
  • 修改 cluster.nodes，新增一列 computeGroup，用以表示计算组名称。该列只能在计算节点后添加，每个计算节点只能属于一个计算组。集群配置文件示例如下：

    localSite,mode,computeGroup
    10.0.0.80:8070:controller1,controller,
    10.0.0.81:8070:controller2,controller,
    10.0.0.82:8070:controller3,controller,
    10.0.0.80:8072:dnode1,datanode,
    10.0.0.81:8072:dnode2,datanode,
    10.0.0.82:8072:dnode3,datanode,
    10.0.0.80:8071:agent1,agent,
    10.0.0.81:8071:agent2,agent,
    10.0.0.82:8071:agent3,agent,
    10.0.0.83:8071:agent4,agent,
    10.0.0.80:8073:cnode1,computenode,
    10.0.0.81:8073:cnode2,computenode,
    10.0.0.82:8073:cnode3,computenode,
    10.0.0.83:8073:cGroup1_node1,computenode,cGroup1
    10.0.0.83:8074:cGroup1_node2,computenode,cGroup1

  • 在 controller.cfg 中增加 2.1.1 小节中介绍的存算分离参数。增加的参数示例如下：

    enableComputeNodePrefetchData=true
    computeNodeCachingQueryThreshold=1
    computeNodeCachingDelay=360

  • 在 cluster.cfg 中增加 2.1.2 小节中介绍的计算组参数。存算分离架构允许为每个计算组或每个计算节点指定计算组参数。
    • 如果需要为所有计算组统一指定参数，增加的参数示例如下。

      computeNodeCacheDir=/ssd/ssd0/SCSeparationDDB/Disaggregation/<ALIAS>, /ssd/ssd1/SCSeparationDDB/Disaggregation/<ALIAS>, /ssd/ssd2/SCSeparationDDB/Disaggregation/<ALIAS>, /ssd/ssd3/SCSeparationDDB/Disaggregation/<ALIAS>
      computeNodeMemCacheSize=8192
      computeNodeDiskCacheSize=262144
      enableComputeNodeCacheEvictionFromQueryThread=true
      computeNodeCacheMeta=/ssd/ssd0/SCSeparationDDB/Disaggregation/<ALIAS>/meta, /ssd/ssd1/SCSeparationDDB/Disaggregation/<ALIAS>/meta, /ssd/ssd2/SCSeparationDDB/Disaggregation/<ALIAS>/meta, /ssd/ssd3/SCSeparationDDB/Disaggregation/<ALIAS>/meta

    • 如果需要为整个计算组指定参数，增加的参数示例如下， cGroup1 为计算组别名。

      cGroup1%.computeNodeCacheDir=/ssd/ssd0/SCSeparationDDB/Disaggregation/cGroup1, /ssd/ssd1/SCSeparationDDB/Disaggregation/cGroup1, /ssd/ssd2/SCSeparationDDB/Disaggregation/cGroup1, /ssd/ssd3/SCSeparationDDB/Disaggregation/cGroup1
      cGroup1%.computeNodeMemCacheSize=8192
      cGroup1%.computeNodeDiskCacheSize=262144
      cGroup1%.enableComputeNodeCacheEvictionFromQueryThread=true
      cGroup1%.computeNodeCacheMeta=/ssd/ssd0/SCSeparationDDB/Disaggregation/cGroup1/meta, /ssd/ssd1/SCSeparationDDB/Disaggregation/cGroup1/meta, /ssd/ssd2/SCSeparationDDB/Disaggregation/cGroup1/meta, /ssd/ssd3/SCSeparationDDB/Disaggregation/cGroup1/meta

    • 如果需要为计算组中的计算节点单独指定参数，增加的参数示例如下， cGroup1_node1 和 cGroup1_node2 为计算组别名。

      cGroup1_node1.computeNodeCacheDir=/ssd/ssd0/SCSeparationDDB/Disaggregation/cGroup1_node1, /ssd/ssd1/SCSeparationDDB/Disaggregation/cGroup1_node1, /ssd/ssd2/SCSeparationDDB/Disaggregation/cGroup1_node1, /ssd/ssd3/SCSeparationDDB/Disaggregation/cGroup1_node1
      cGroup1_node1.computeNodeMemCacheSize=4096
      cGroup1_node1.computeNodeDiskCacheSize=131072
      cGroup1_node1.enableComputeNodeCacheEvictionFromQueryThread=true
      cGroup1_node1.computeNodeCacheMeta=/ssd/ssd0/SCSeparationDDB/Disaggregation/cGroup1_node1/meta, /ssd/ssd1/SCSeparationDDB/Disaggregation/cGroup1_node1/meta, /ssd/ssd2/SCSeparationDDB/Disaggregation/cGroup1_node1/meta, /ssd/ssd3/SCSeparationDDB/Disaggregation/cGroup1_node1/meta
      cGroup1_node2.computeNodeCacheDir=/ssd/ssd0/SCSeparationDDB/Disaggregation/cGroup1_node2, /ssd/ssd1/SCSeparationDDB/Disaggregation/cGroup1_node2, /ssd/ssd2/SCSeparationDDB/Disaggregation/cGroup1_node2, /ssd/ssd3/SCSeparationDDB/Disaggregation/cGroup1_node2
      cGroup1_node2.computeNodeMemCacheSize=4096
      cGroup1_node2.computeNodeDiskCacheSize=131072
      cGroup1_node2.enableComputeNodeCacheEvictionFromQueryThread=true
      cGroup1_node2.computeNodeCacheMeta=/ssd/ssd0/SCSeparationDDB/Disaggregation/cGroup1_node2/meta, /ssd/ssd1/SCSeparationDDB/Disaggregation/cGroup1_node2/meta, /ssd/ssd2/SCSeparationDDB/Disaggregation/cGroup1_node2/meta, /ssd/ssd3/SCSeparationDDB/Disaggregation/cGroup1_node2/meta

• P4 文件配置：
  • agent.cfg 配置参考：

    mode=agent
    localSite=10.0.0.83:8801:agent4
    controllerSite=10.0.0.80:8800:controller1
    sites=10.0.0.83:8801:agent4:agent,10.0.0.80:8800:controller1:controller,10.0.0.81:8800:controller2:controller,10.0.0.82:8800:controller3:controller
    workerNum=4
    maxMemSize=4
    lanCluster=0

  • 修改集群成员参数文件和计算节点参数文件，保持和前三台服务器配置文件相同

• 创建测试数据库表

  创建库表.dos

• 写入模拟数据脚本

  生成模拟数据_level2快照.dos

  生成模拟数据_逐笔成交.dos

• 查询性能测试脚本

  查询性能.dos

• 计算性能测试脚本

  计算性能1_1分钟深度不平衡_买卖压力指标_实际波动率.dos

  计算性能2_买卖订单不平衡.dos

• 并发查询性能测试脚本

  并发查询测试case1.ipynb

  并发查询测试case2.ipynb