单服务器集群部署与升级

• 官方下载地址：https://dolphindb.cn/product#downloads

• 也可以通过 Shell 指令下载。下载方式如下：

  wget https://www.dolphindb.cn/downloads/DolphinDB_Linux64_V${release}.zip -O dolphindb.zip

  其中，${release} 代表版本。例如：下载 2.00.11.3 版本的 Linux64 server，使用以下指令：

  wget https://www.dolphindb.cn/downloads/DolphinDB_Linux64_V2.00.11.3.zip -O dolphindb.zip

  如需下载 ABI 或 JIT 版本 server，则需要在版本号后以下划线连接 ABI 或 JIT。例如：下载 2.00.11.3 版本的 Linux64 ABI server, 使用以下指令：

  wget https://www.dolphindb.cn/downloads/DolphinDB_Linux64_V2.00.11.3_ABI.zip -O dolphindb.zip

  下载 2.00.11.3 版本的 Linux64 JIT 版本 server，使用以下指令：

  wget https://www.dolphindb.cn/downloads/DolphinDB_Linux64_V2.00.11.3_JIT.zip -O dolphindb.zip

  以此类推。

• 执行以下 Shell 指令解压安装包至指定路径(/path/to/directory)：

  unzip dolphindb.zip -d </path/to/directory>

  注意：安装路径的目录名中不能含有空格字符或中文字符，否则启动数据节点时会失败。

如果用户拿到企业版试用授权许可，只需用其替换如下文件即可。

/DolphinDB/server/dolphindb.lic

如果用户没有申请企业版试用授权许可，可以直接使用程序包中的社区版试用授权许可。社区试用版指定 DolphinDB 单节点最大可用内存为 8 GB ，有效期为 20 年。

进入 /DolphinDB/server 目录，第一次启动时需要修改文件权限，执行以下 Shell 指令：

chmod +x dolphindb

进入 /DolphinDB/server/clusterDemo 目录，启动控制节点和代理节点，启动顺序无要求。

• 启动控制节点

  执行以下 Shell 指令启动控制节点：

  sh startController.sh

• 启动代理节点

  运行以下 Shell 指令启动代理节点：

  sh startAgent.sh

  可以执行以下 Shell 指令，查看节点是否成功启动：

  ps aux|grep dolphindb

  返回如下信息说明控制节点和代理节点启动成功：

  
  

• 启动数据节点和计算节点

  可以在 Web 管理界面启动或关闭数据节点和计算节点，以及修改集群的配置。在浏览器中输入部署服务器 IP 地址和控制节点部署端口号即可进入 Web 管理界面，教程中的部署服务器 IP 地址为 10.0.0.80，控制节点默认部署端口为 8900，所以访问地址为 10.0.0.80:8900 ，打开后的 Web 管理界面如下。以管理员身份（默认账号：admin ，默认密码：123456）登录 Web 管理界面后，用户可以通过勾选想要启动的数据节点和计算节点，再点击启动（关闭）按键即可启动（关闭）相应的数据节点和计算节点：

  
  

  刷新页面后可看到对应的数据节点和计算节点已启动，如下图所示：

  
  

  注意：如果浏览器与 DolphinDB 不是部署在同一台服务器，应事先关闭防火墙或者打开对应的部署端口，Web 管理界面才能正常打开。

数据节点既可以存储数据，也可以用于数据的查询和计算。接下来通过一个例子介绍如何在 DolphinDB 集群数据节点创建数据库并写入数据。首先，打开控制节点的 Web 管理界面，点击对应的数据节点打开其 Web 交互编程界面，如下图所示：

也可以在浏览器直接输入数据节点的 IP 地址和端口号进入数据节点的 Web 交互编程界面。

在数据节点的 Web 交互编程界面执行以下语句创建数据库和分区表：

  // 创建存储的数据库和分区表
  login("admin", "123456")
  dbName = "dfs://testDB"
  tbName = "testTB"
  if(existsDatabase(dbName)){
          dropDatabase(dbName)
  }
  db = database(dbName, VALUE, 2021.01.01..2021.12.31)
  colNames = `SecurityID`DateTime`PreClosePx`OpenPx`HighPx`LowPx`LastPx`Volume`Amount
  colTypes = [SYMBOL, DATETIME, DOUBLE, DOUBLE, DOUBLE, DOUBLE, DOUBLE, INT, DOUBLE]
  schemaTable = table(1:0, colNames, colTypes)
  db.createPartitionedTable(table=schemaTable, tableName=tbName, partitionColumns=`DateTime)

然后，执行以下语句模拟生成 5000 个股票 1 天的 1 分钟 K 线数据并写入上面创建的分区表：

  // 模拟数据并写入分区表
  n = 1210000
  randPrice = round(10+rand(1.0, 100), 2)
  randVolume = 100+rand(100, 100)
  SecurityID = lpad(string(take(0..4999, 5000)), 6, `0)
  DateTime = (2023.01.08T09:30:00 + take(0..120, 121)*60).join(2023.01.08T13:00:00 + take(0..120, 121)*60)
  PreClosePx = rand(randPrice, n)
  OpenPx = rand(randPrice, n)
  HighPx = rand(randPrice, n)
  LowPx = rand(randPrice, n)
  LastPx = rand(randPrice, n)
  Volume = int(rand(randVolume, n))
  Amount = round(LastPx*Volume, 2)
  tmp = cj(table(SecurityID), table(DateTime))
  t = tmp.join!(table(PreClosePx, OpenPx, HighPx, LowPx, LastPx, Volume, Amount))
  dbName = "dfs://testDB"
  tbName = "testTB"
  loadTable(dbName, tbName).append!(t)

可以在交互编程界面选中函数语句跳转至弹出的网页查看函数说明。

语句执行成功后可在交互编程界面的左边，数据库一栏查看已创建的库表及字段信息。

也可在本地变量一栏查看已创建的变量和表，展示了变量名、变量类型、变量维度大小、占用内存大小等信息，并且可以直接点击变量名进行变量预览。

上述语句执行成功后，可回到控制节点的文件系统查看已创建的库表。

计算节点主要用于数据的查询和计算。接下来通过一个例子介绍如何在计算节点对数据库内的分区表执行查询和计算。首先，打开控制节点的 Web 管理界面，点击对应的计算节点打开其 Web 交互编程界面，如下图所示：

也可以在浏览器直接输入计算节点的 IP 地址和端口号进入计算节点的 Web 交互编程界面。

在计算节点的 Web 交互编程界面执行以下语句加载分区表对象，此时只加载了分区表的元数据，并未加载分区表全量数据，所以响应时间非常快：

  // 加载分区表对象
  pt = loadTable("dfs://testDB", "testTB")

然后，执行以下语句查询股票表中每天包含的数据条数：

  // SQL 返回数据量少的时候，可以直接取回客户端展示
  select count(*) from pt group by date(DateTime) as Date

语句执行成功后，查询结果会在 Web 界面下方展示：

执行以下语句计算每支股票每天的 OHLC 值：

  // SQL 返回数据量较大时，可以赋值给变量，占用 server 端内存，客户端分页取回展示
  result = select first(LastPx) as Open, max(LastPx) as High, min(LastPx) as Low, last(LastPx) as Close from pt group by date(DateTime) as Date, SecurityID

在这里，把计算结果赋值给了 result 变量，这样就不会直接在客户端界面直接展示，减少客户端内存占用，用户可以通过点击本地变量栏目下的 result 变量进行分页展示查看：

官方下载地址：http://www.dolphindb.cn/downloads.html

解压安装包，例如解压到如下目录：

C:\DolphinDB

注意：安装路径的目录名中不能含有空格字符或中文字符，否则启动数据节点时会失败。例如不要装到 Windows 系统的 Program Files 目录下。

如果用户拿到企业版试用授权许可，只需用其替换如下文件即可。

C:\DolphinDB\server\dolphindb.lic

如果用户没有申请企业版试用授权许可，可以直接使用程序包中的社区版试用授权许可。社区试用版指定 DolphinDB 单节点最大可用内存为 8 GB，有效期为 20 年。

• 前台启动控制节点和代理节点

  进入 C:\DolphinDB\server\clusterDemo 目录，双击 startController.bat 启动控制节点，双击 startAgent.bat 启动代理节点。

• 后台启动控制节点和代理节点

  进入 C:\DolphinDB\server\clusterDemo 目录，双击 backgroundStartController.vbs 启动控制节点，双击 backgroundStartAgent.vbs 启动代理节点。

• 启动数据节点和计算节点

  可以在 Web 管理界面启动或关闭数据节点和计算节点，以及修改集群的配置。在浏览器中输入部署服务器 IP 地址和控制节点部署端口号即可进入 Web 管理界面，教程中的部署服务器 IP 地址为 10.0.0.80，控制节点默认部署端口为 8900，所以访问地址为 10.0.0.80:8900，打开后的 Web 管理界面如下。以管理员身份（默认账号：admin ，默认密码：123456）登录 Web 管理界面后，用户可以通过勾选想要启动的数据节点和计算节点，再点击启动（关闭）按键即可启动（关闭）相应的数据节点和计算节点：

  
  

  刷新页面后可看到对应的数据节点和计算节点已启动，如下图所示：

  
  

  注意：如果浏览器与 DolphinDB 不是部署在同一台服务器，应事先关闭防火墙或者打开对应的部署端口，Web 管理界面才能正常打开。

数据节点既可以存储数据，也可以用于数据的查询和计算。接下来通过一个例子介绍如何在 DolphinDB 集群数据节点创建数据库并写入数据。首先，打开控制节点的 Web 管理界面，点击对应的数据节点打开其 Web 交互编程界面，如下图所示：

也可以在浏览器直接输入数据节点的 IP 地址和端口号进入数据节点的 Web 交互编程界面。

在数据节点的 Web 交互编程界面执行以下语句创建数据库和分区表：

  // 创建存储的数据库和分区表
  login("admin", "123456")
  dbName = "dfs://testDB"
  tbName = "testTB"
  if(existsDatabase(dbName)){
          dropDatabase(dbName)
  }
  db = database(dbName, VALUE, 2021.01.01..2021.12.31)
  colNames = `SecurityID`DateTime`PreClosePx`OpenPx`HighPx`LowPx`LastPx`Volume`Amount
  colTypes = [SYMBOL, DATETIME, DOUBLE, DOUBLE, DOUBLE, DOUBLE, DOUBLE, INT, DOUBLE]
  schemaTable = table(1:0, colNames, colTypes)
  db.createPartitionedTable(table=schemaTable, tableName=tbName, partitionColumns=`DateTime)

然后，执行以下语句模拟生成 5000 个股票 1天的 1 分钟 K 线数据并写入上面创建的分区表：

  // 模拟数据并写入分区表
  n = 1210000
  randPrice = round(10+rand(1.0, 100), 2)
  randVolume = 100+rand(100, 100)
  SecurityID = lpad(string(take(0..4999, 5000)), 6, `0)
  DateTime = (2023.01.08T09:30:00 + take(0..120, 121)*60).join(2023.01.08T13:00:00 + take(0..120, 121)*60)
  PreClosePx = rand(randPrice, n)
  OpenPx = rand(randPrice, n)
  HighPx = rand(randPrice, n)
  LowPx = rand(randPrice, n)
  LastPx = rand(randPrice, n)
  Volume = int(rand(randVolume, n))
  Amount = round(LastPx*Volume, 2)
  tmp = cj(table(SecurityID), table(DateTime))
  t = tmp.join!(table(PreClosePx, OpenPx, HighPx, LowPx, LastPx, Volume, Amount))
  dbName = "dfs://testDB"
  tbName = "testTB"
  loadTable(dbName, tbName).append!(t)

可以在交互编程界面选中函数语句跳转至弹出的网页查看函数说明。

语句执行成功后可在交互编程界面的左边，数据库一栏查看已创建的库表及字段信息。

也可在本地变量一栏查看已创建的变量和表，展示了变量名、变量类型、变量维度大小、占用内存大小等信息，并且可以直接点击变量名进行变量预览。

上述语句执行成功后，可回到控制节点的文件系统查看已创建的库表。

计算节点主要用于数据的查询和计算。接下来通过一个例子介绍如何在计算节点对数据库内的分区表执行查询和计算。首先，打开控制节点的 Web 管理界面，点击对应的计算节点打开其 Web 交互编程 界面，如下图所示：

也可以在浏览器直接输入计算节点的 IP 地址和端口号进入计算节点的 Web 交互编程界面。

在计算节点的 Web 交互编程界面执行以下语句加载分区表对象，此时只加载了分区表的元数据，并未加载分区表全量数据，所以响应时间非常快：

  // 加载分区表对象
  pt = loadTable("dfs://testDB", "testTB")

然后，执行以下语句查询股票表中每天包含的数据条数：

  // SQL 返回数据量少的时候，可以直接取回客户端展示
  select count(*) from pt group by date(DateTime) as Date

语句执行成功后，查询结果会在 Web 界面下方展示：

执行以下语句计算每支股票每天的 OHLC 值：

  // SQL 返回数据量较大时，可以赋值给变量，占用 server 端内存，客户端分页取回展示
  result = select first(LastPx) as Open, max(LastPx) as High, min(LastPx) as Low, last(LastPx) as Close from pt group by date(DateTime) as Date, SecurityID

在这里，将计算结果赋值给了 result 变量，这样就不会直接在客户端界面直接展示，减少客户端内存占用，用户可以通过点击本地变量栏目下的 result 变量进行分页展示查看：

第一步：正常关闭集群所有节点

进入 /DolphinDB/server/clusterDemo 目录执行以下 Shell 指令：

  ./stopAllNode.sh

第二步：备份旧版本的元数据文件

单服务器集群只有写入过数据才会创建相应的元数据文件，如果集群没有数据写入行为则可直接跳过此步骤进行升级。

• 备份控制节点元数据

  控制节点元数据默认存储在服务器的 /DolphinDB/server/clusterDemo/dfsMeta 目录下的 DFSMetaLog.0 文件，如果数据量超过一定的大小则还会生成 DFSMasterMetaCheckpoint.0 文件。本教程示例集群的控制节点元数据的默认存储目录：

  /DolphinDB/server/clusterDemo/dfsMeta

  可进入 /DolphinDB/server/clusterDemo/dfsMeta 目录执行以下 Shell 指令进行备份：

  mkdir backup
  cp -r DFSMetaLog.0 backup
  cp -r DFSMasterMetaCheckpoint.0 backup

• 备份数据节点元数据

  数据节点的元数据默认存储在控制节点服务器的 /DolphinDB/server/clusterDemo/data/数据节点别名/storage/CHUNK_METADATA 目录下，本教程示例集群的数据节点元数据的默认存储目录：

  /DolphinDB/server/clusterDemo/data/dnode1/storage/CHUNK_METADATA

  可进入上述目录执行以下 Shell 指令备份到上面创建的 backup 文件夹：

  cp -r CHUNK_METADATA ../../backup

  注意：元数据文件可能通过配置文件指定存储在其它目录，如果在默认路径没有找到上述文件，可以通过查询配置文件中的 dfsMetaDir 参数和 chunkMetaDir 参数确认元数据文件的存储目录。若配置中未指定 dfsMetaDir 参数和 chunkMetaDir 参数，但是配置了 volumes 参数，CHUNK_METADATA 目录在相应的 volumes 参数指定的目录下。

第三步：升级

当 server 在线升级到某个版本后，使用的插件也应升级到与此对应的版本。

• 在线升级

  进入 /DolphinDB/server/clusterDemo 目录执行以下 Shell 指令：

  ./upgrade.sh

  运行后将会出现如下提示：

  
  

  输入 y 并点击回车后会出现如下提示：

  
  

  输入 1 选择在线更新，并点击回车后会出现如下提示：

  
  

  输入所需更新的版本号再点击回车即可，以更新至 2.00.9.1 版本为例，输入 2.00.9.1 后点击回车，出现如下界面则表示升级成功：

  
  

• 离线升级

  下载升级所需版本的安装包，官方下载地址：http://www.dolphindb.cn/downloads.html

  将下载好的安装包上传至 /DolphinDB/server/clusterDemo 目录下，以更新至 2.00.9.1 版本为例：

  
  

  进入 /DolphinDB/server/clusterDemo 目录执行以下 Shell 指令：

  ./upgrade.sh

  运行后将会出现如下提示：

  
  

  输入 y 并点击回车后会出现如下提示：

  
  

  输入 2 选择离线更新，并点击回车后会出现如下提示：

  
  

  输入所需更新的版本号再点击回车即可，以更新至 2.00.9.1 版本为例，输入 2.00.9.1 后点击回车，出现如下界面则表示升级成功：

  
  

第四步：重新启动集群

进入 /DolphinDB/server/clusterDemo 目录，启动控制节点和代理节点，启动顺序无要求。

• 启动控制节点

  执行以下 Shell 指令启动控制节点：

  sh startController.sh

• 启动代理节点

  运行以下 Shell 指令启动代理节点：

  sh startAgent.sh

  成功启动后，打开控制节点 Web 管理界面，在交互编程界面执行以下代码，查看 DolphinDB 当前版本：

  version()

用新的授权许可文件 dolphindb.lic 替换老的授权许可文件。

Linux 环境授权许可文件位置：

/DolphinDB/server/dolphindb.lic

Windows 环境授权许可文件位置：

C:\DolphinDB\server\dolphindb.lic

• 在线更新

  打开控制节点 Web 管理界面，在交互编程界面执行以下代码完成更新，代码成功运行会返回新授权许可证的到期时间：

  use ops
  updateAllLicenses()

  
  

  注意：在线更新有如下要求：

  • License 授权的客户名称必须与原来的 License 相同。
  • 授权的节点个数，内存大小，CPU 核个数不能比原来的小。
  • 该函数只在执行该函数的节点生效。因此在集群环境下，需要在所有控制节点，代理节点、计算节点和数据节点上运行该函数。
  • License 的类型必须是 commercial（付费）类型和 free 类型，如果是 trial（试用）类型不支持在线更新。

• 离线更新

  关闭 DolphinDB 集群的所有节点，然后重新启动集群，即可完成更新。

执行以下 Shell 指令修改 controller.cfg 配置文件：

vim ./controller.cfg

  mode=controller
  localSite=localhost:8900:controller8900
  dfsReplicationFactor=1
  dfsReplicaReliabilityLevel=2
  dataSync=1
  workerNum=4
  maxConnections=512
  maxMemSize=8
  lanCluster=0

默认控制节点启动端口是 8900，可以通过修改 localSite 参数指定控制节点的 IP 地址、端口号和别名。

例如，IP 地址为 10.0.0.80，端口号为 8900，别名为 controller8900，则可配置为：

localSite=10.0.0.80:8900:controller8900

其余参数用户应结合自身服务器硬件配置进行合理参数调优。

执行以下 Shell 指令修改 agent.cfg 配置文件：

vim ./agent.cfg

  mode=agent
  localSite=localhost:8901:agent1
  controllerSite=localhost:8900:controller8900
  workerNum=4
  maxMemSize=4
  lanCluster=0

agent.cfg 的 controllerSite 必须与 controller.cfg 中的 localSite 保持一致，因为代理节点使用 agent.cfg 中的 controllerSite 来寻找集群中的控制节点。若 controller.cfg 中的参数 localSite 有变化，即使只是控制节点别名有改变，agent.cfg 中的 controllerSite 都必须做相应的改变。默认代理节点启动端口是 8901，可以通过修改 localSite 参数指定代理节点的 IP 地址、端口号和别名。

例如， IP 地址为 10.0.0.80 ，端口号为 8901 ，别名为 agent1，则可配置为：

localSite=10.0.0.80:8901:agent1

其余参数用户应结合自身服务器硬件配置进行合理参数调优。

执行以下 Shell 指令修改 cluster.nodes 配置文件：

vim ./cluster.nodes

  localSite,mode
  localhost:8901:agent1,agent
  localhost:8902:dnode1,datanode
  localhost:8903:cnode1,computenode

cluster.nodes 用于存放集群代理节点、数据节点和计算节点的信息。默认集群配置文件使用 1 个代理节点，1 个数据节点和1个计算节点，用户可以根据实际要求配置节点个数。该配置文件分为两列，第一例存放节点 IP 地址、端口号和节点别名，这三个信息由冒号分隔；第二列是说明节点类型，比如代理节点类型为 agent ，数据节点类型为 datanode ，计算节点类型为 computenode 。

注意：节点别名是大小写敏感的，而且在集群内必须是唯一的。

执行以下 Shell 指令修改 cluster.cfg 配置文件：

vim ./cluster.cfg

  maxMemSize=32
  maxConnections=512
  workerNum=4
  maxBatchJobWorker=4
  OLAPCacheEngineSize=2
  TSDBCacheEngineSize=1
  newValuePartitionPolicy=add
  maxPubConnections=64
  subExecutors=4
  lanCluster=0
  enableChunkGranularityConfig=true

cluster.cfg 的配置适用于集群中所有数据节点，用户应结合自身服务器硬件配置进行合理参数调优。

如果遇到无法启动 DolphinDB 节点的情况，建议打开 /DolphinDB/server/clusterDemo/log 目录下对应节点的日志文件，若出现如下错误：

<ERROR> :Failed to bind the socket on port 8900 with error code 98

说明选用的端口被其他程序占用，导致 DolphinDB 节点无法正常启动，修改配置文件中的端口为其它空闲端口后即可正常启动。

DolphinDB 正常启动后，在浏览器输入正确的访问地址，但是 Web 管理界面无法正常打开，如下图所示：

出现上述问题的原因基本上都是因为浏览器与 DolphinDB 不是部署在同一台服务器，且部署 DolphinDB 的服务器开启了防火墙。可以通过关闭部署了 DolphinDB 的服务器的防火墙或者打开对应的部署端口，解决这个问题。

如果升级以后，不能正常开启 DolphinDB 单服务器集群，可按以下方式回退到旧版本。

第一步：恢复旧版本元数据文件

在 /DolphinDB/server/clusterDemo/dfsMeta 目录执行以下 shell 指令恢复已备份的控制节点和数据节点元数据：

cp -r backup/DFSMetaLog.0 ./
cp -r backup/DFSMasterMetaCheckpoint.0 ./
cp -r backup/CHUNK_METADATA ./dnode1/storage

第二步：恢复旧版本程序文件

在官方下载旧版本程序包，把重新下载的旧版本 server 目录下除 dolphindb.cfg 、clusterDemo 以及 dolphindb.lic 外的所有文件覆盖替换升级失败的文件。

如果升级以后，不能正常开启 DolphinDB 单服务器集群，可按以下方式回退到旧版本。

第一步：恢复旧版本元数据文件

把升级前备份在 C:\DolphinDB\server\clusterDemo\dfsMeta\backup 目录下的 DFSMetaLog.0 和 DFSMasterMetaCheckpoint.0 （若存在）文件复制替换 C:\DolphinDB\server\clusterDemo\dfsMeta 目录下的 DFSMetaLog.0 和 DFSMasterMetaCheckpoint.0 文件。

把升级前备份在 C:\DolphinDB\server\clusterDemo\data\backup 目录下的 CHUNK_METADATA 文件复制替换 C:\DolphinDB\server\clusterDemo\data\dnode1\storage 目录下的 CHUNK_METADATA 文件。

第二步：恢复旧版本程序文件

在官方下载旧版本程序包，把重新下载的旧版本 server 目录下除 dolphindb.cfg 、*clusterDemo *以及 dolphindb.lic 外的所有文件覆盖替换升级失败的文件。

在线更新授权文件需要满足更新授权许可文件中在线更新的要求。如果不满足其中的要求，可以通过离线方式进行更新，或前往DolphinDB官网申请企业版 License。

可以参考 DolphinDB 官方参数配置说明进行配置参数调优。

如果遇到性能问题，请添加微信号13306510479 或扫描下面二维码，客服会邀您进群，由 DolphinDB 技术支持工程师会解答您的问题。