功能配置

登录

权限管理

控制节点高可用

控制节点存储了集群访问所需的元数据信息。普通集群只包含一个控制节点，若控制节点发生宕机，将造成集群瘫痪。为了避免这种情况，DolphinDB 允许多个控制节点组成 raft 组，来实现控制节点的高可用。

启用控制节点高可用，需要在 raft 组中各个 controller 的 config 文件（默认 controller.cfg）中指定配置项 dfsHAMode=Raft。

同时需要修改所有 agent 的 config 文件（默认为 agent.cfg），代理节点配置的 controllerSite 可指定为 raft 组的任一节点。在代理节点信息后必须增加 sites 参数，需包含本机器代理节点和所有控制节点的局域网信息。

同时需要在 nodesFile 增加所有集群节点的网络信息。

此外，DolphinDB 还提供了配置参数用于设置 raft。该参数需在控制节点的 config 文件配置。

多副本

为了保证数据的安全和高可用，DolphinDB 支持在不同的服务器上存储多个数据副本，并且采用二阶段提交协议实现数据副本之间以及数据和元数据之间的强一致性。即使一台机器上的数据损坏，也可以通过访问其他机器上的副本数据来保证数据服务不中断。要开启副本数和备份机制，需在控制节点的 config 文件配置以下参数：

多副本集群环境下，若某个数据节点宕机，将会造成集群的副本数和配置项 dfsReplicationFactor 不一致。此时若配置了 dfsRecoveryWaitTime，系统将在等待 dfsRecoveryWaitTime 时间后，将不一致的副本复制给其它节点。该参数默认值为 0，表示一直等待节点恢复，不发起副本复制任务。该参数也需在控制节点的 config 文件配置。

生产场景下，数据节点宕机后可能会被再次拉起，若开启了恢复副本的任务会造成不必要的网络传输开销。因此不建议用户轻易配置该选项。

运行日志：log

server 启动后，系统将会自动产生运行时信息，可以通过命令行配置参数 stdoutLog 决定是否将信息输出到命令行或运行日志（log）中。log 文件的路径信息可由配置项 logFile 进行指定：

单个日志文件大小存在上限，由 StandaloneMode 章节提到的配置参数 maxLogSize 决定。超过该值后，DolphinDB 将自动生成一个前缀为时间戳（精确到秒）的新的日志文件，以此类推。当旧的系统日志占用大量系统资源时，可通过配置 logRetentionTime 定时删除。

为了更快定位问题，DolphinDB 支持输出指定等级的日志。可通过配置项 logLevel 在启动前配置，或通过函数 setLogLevel 在线修改。

集群环境下，节点运行日志统一存储在 logFile 指定的路径下。下文提到的重做日志和恢复事务的重做日志，统一存储在 logDir 指定的文件夹下。

重做日志：redo log

参考教程： Cache Engine与数据库日志

为保证 server 启动后不会因为宕机丢失数据，DolphinDB 采用了重做日志（redo log）的机制，即数据先写重做日志再落盘。redo log 文件存储在磁盘上，为了提高写入效率，建议将 redo log 文件存储在高性能 IO 设备中，如 SSD。

DolphinDB OLAP 引擎 和 TSDB 引擎的 redo log 的存储路径可通过以下参数进行配置：

在集群模式中，需要保证同一机器上的数据节点配置了不同的 TSDBRedoLogDir。

当事务完成后，系统会自动检测回收其对应的 redo log。DolphinDB 提供了配置项，支持对 redo log 的回收过程进行调优。

作业日志：job log

用户提交的批处理作业和定时作业的执行信息均保存在 batchJobDir 目录下。

节点恢复事务的重做日志

节点恢复和再平衡相关参数的说明请参考数据恢复和再平衡相关内容。

在节点恢复过程中，为了避免节点宕机或离线对恢复过程造成太大影响，可以开启节点恢复事务的重做日志，配置 enableDfsRecoverRedo = true。开启后，在节点恢复的过程中，会将恢复事务相关的数据先写入 recover redo log 中。

节点查询信息日志

集群环境下，系统还保存了各节点的查询信息的日志（job log）。

DolphinDB 在 2.00.11.1 版本中为数据节点加入 enableDFSQueryLog 配置项。

SQL Trace 日志

SQL Trace 日志的存储位置由 traceLogDir 指定。

集群的元数据

分布式文件系统中，集群的元数据信息存储在控制节点上，对应文件为： DFSMetaLog.xxx 和 DSFMetaCheckpoint.xxx。可通过下述配置项指定存储目录：

节点的元数据

OLAP 引擎节点的元数据文件为 editlog.xxx 和 checkpoint.xxx，其存储路径可通过下述参数配置。

TSDB 引擎节点的元数据存储在与 TSDBRedoLogDir 指定目录同级的 TSDBMeta 下，对应文件为 iotEditLog.meta 和 iotCheckPointFile.meta。

线程

DolphinDB 采用多线程技术，有以下几种常见的线程类型：

• worker：常规交互作业的工作线程，接收客户端请求，将任务分解为多个小任务，根据任务的粒度自己执行或者发送给 local executor 或 remote executor 执行。

  从 2.00.10 版本开始，DolphinDB 引入了多级任务算法，即将作业及其拆分出来的子任务区分为不同的层级，并分配给相应层级的 worker 来处理。DolphinDB 提供了0~5个级别的 worker。 客户端提交至节点的作业为0级，由0级 worker 处理。根据作业所涉及到的分区，0级 worker 将作业分解为多个子任务，其中本地节点上的子任务由0级或1级 worker 并行执行；需要由远程节点执行的子任务则降低为1级，并通过 remote executor 发送到对应节点上的1级 worker 处理。以此类推，若某个级别的子任务需要进一步拆解，则拆分出来的由远程节点执行的子任务降低一级，发送至远程节点上对应层级的 worker 处理。 这种根据任务层级分配不同层级 worker 的线程工作机制，可以有效避免因各个子任务执行期间彼此依赖而导致的死锁问题。

• remote executor：远程执行线程，将子任务发动到远程节点的独立线程。远程执行线程具有容错机制。在多个计算机都包含任务所需数据的副本的情况下，如果一台计算机出现故障，远程执行线程将该任务发送到另一台计算机。

• batch job worker：批处理作业的工作线程。其上限通过配置项 maxBatchJobWorker 设置，默认值是workerNum。该线程在任务执行完后若闲置60秒则会被系统自动回收，不再占用系统资源。

• dynamic worker：动态工作线程，作为 worker 的补充。其上限通过配置项 maxDynamicWorker 设置，默认值是 workerNum。如果所有的工作线程被占满，有新任务时，系统会创建动态工作线程来执行任务。根据系统并发任务的繁忙程度，总共可以创建三组动态工作线程，每一个级别可以创建 maxDynamicWorker 个动态工作线程。该线程在任务执行完后若闲置60秒则会被系统自动回收，不再占用系统资源。

• web worker：处理 HTTP 请求的工作线程。DolphinDB 提供了基于 web 的集群管理界面，用户可以通过web 与 DolphinDB 节点进行交互。其上限通过配置项 webWorkerNum 设置，默认值是1。

• urgent worker：紧急工作线程，只接收一些特殊的系统级任务，譬如登录，取消作业等。其上限通过配置项 urgentWorkerNum 设置，默认为1。

相关配置参数：

为提高计算资源利用率，降低使用 TSDB 引擎时合并 level file 的耗时，以及尽可能平衡负载，DolphinDB 在 2.00.11 版本提供了用于调整每个 volume 下可处理合并任务的线程数量（worker）的配置项 compactWorkerNumPerVolume。

参考线程教程：从一次 SQL 查询的全过程看 DolphinDB 的线程模型

内存

社区版许可证提供的默认内存上限为 8 GB，若场景需要更高的配置可以通过官网申请许可证。

参考内存管理教程： 内存管理

系统内存

利用 DolphinDB 做大数据的查询和计算时，可能会由于内存不足造成 OOM。为了尽量避免查询时内存溢出的情况，DolphinDB 提供了一系列内存调优的参数。

maxMemSize 决定了 server 运行在服务器的内存上限。该参数受机器内存上限的影响。

当内存占用达到 warningMemSize 时，系统会自动清理数据库的缓存，释放一部分内存，以避免 OOM。

内存不足时，DolphinDB 为了避免一次性申请过大内存造成内存溢出的情况，提供了以下两个配置项，限制该场景下可申请的内存块大小，以尽可能避免 OOM 的发生。

此外 DolohinDB 还提供了配置项，用来调整内存释放的速度。该参数等价于设置了 TCMalloc 的 tcmalloc_release_rate。

Cache Engine

设置 dataSync=1 后，每个节点的内存将维护 OLAP Cache Engine 和 TSDB Cache Engine。该参数配置需在 controller 的 config 文件配置（默认为 controller.cfg）。

Cache Engine 的大小可通过以下配置项设置：

除了 Cache Engine, TSDB 引擎在内存还维护了到 level file 数据块的索引，索引大小可由配置项 TSDBLevelFileIndexCacheSize 指定。

若读取的索引超过 TSDBLevelFileIndexCacheSize，DolphinDB 内部会根据访问时间，将最不常访问的索引进行置换。

磁盘

DolphinDB 数据存储的路径取决于配置参数 volumes。

在对读写要求较高的场景下，用户可以选择指定多个 volumes，并将其配置在多个磁盘上。此外，用户可以通过配置磁盘读写线程的数量，来提升磁盘的 I/O。

某些文件系统不支持 hardLink 功能，需修改配置 hardLink = false。

通过 maxFileHandles 配置项可以调整一个 dolphindb 进程允许打开文件数。

2.00.9 版本开始支持自定义交易日历。以下函数 temporalAdd, resample, asFreq, transFreq 中指定交易日历。

根据 marketHolidayDir 下已存在的节假日文件生成交易日历，并采用文件名作为交易日历的标识。交易日历文件在系统启动时被加载到内存中。需要注意：

• 系统默认周末为节假日，因此文件内只需填写非周末的休市日期。

• 建议将交易日历文件以交易所编码命名，如 “CEFG.csv”。

集群通信与连接

为了减少网络传输的开销，建议集群所有节点配置在同一局域网下。

节点 IP 信息

单节点模式下默认 server 的 ip 为本机 ip，端口号为 8848。若端口号被占用，可前往 config 指定的配置文件进行修改。

从 2.00.9 版本开始，DolphinDB 支持通过 License Server 来为注册到它上面的节点分配硬件资源。注意：若要启动 License Server，必须使用 Type3 类型的 license，详情咨询技术支持。 License Server 相关配置：

集群环境下，控制节点和代理节点启动前，需在各自的 config 文件中配置自身的 localSite；代理节点还需额外配置 controllerSite。

localSite 中的 host:port 为节点的 ip 和端口号，alias 将作为节点的别名。设置别名可以便于脚本编程中快速定位到指定节点，并与之建立通信连接，如 subscribeTable 函数中指定 server 参数为远端节点的别名，即可订阅远端节点发布的流数据表。用户可在线调用 getNodeAlias 获取当前节点的别名，或 getControllerAlias 获取控制节点的别名。

节点的属性通过配置项 mode 声明，目前的可选值为 controller（控制节点），agent（代理节点），datanode（数据节点）以及 computenode（计算节点）。该配置项需在所有节点 config 文件声明。

除了 config 文件外，controller 服务器配置的 nodesFile 文件中，也包含了所有集群代理节点、数据节点和计算节点的 localSite 和 mode，该文件为 controller 提供了集群的网络信息，以便控制节点可以访问到其它节点。

节点间通信

节点与节点之间基于 TCP 协议传输数据，DolphinDB 提供了 TCP 配置选项 tcpNoDelay，便于用户在实际生产场景下，进行通信调优。启用该参数在一定程度上可以减小传输延迟，但可能带来更大的网络负载。

控制节点通过心跳机制监控其它节点的存活状态，心跳可以采用 TCP/UDP 传输，通过配置项 lanCluster 指定。该参数需配置在代理节点、数据节点和计算节点的 config 文件。若心跳超时，则控制节点会认为该节点已经宕机。因此，在网络较差的场景下，建议配置较大的 dfsChunkNodeHeartBeatTimeout。

集群内每个节点都与集群其它远程节点相连接。每个节点连接上限数取决于配置项 maxConnectionPerSite。

节点和外部会话

用户通过 API, GUI, Web notebook 开启一个会话，并通过会话和对应节点建立一个连接。每个节点的最大外部会话连接上限数由配置参数 maxConnections 决定。

Web notebook、VS Code 等编辑器与 DolphinDB server 默认采用 HTTP 协议传输数据。可通过配置 enableHTTPS，决定是否采用安全传输协议 HTTPS 进行传输。

局域网环境下通过控制节点的 ip:port 可以直接访问集群的 web 管理器，若控制节点和其它节点不在同一局域网下，需指定控制节点的外网网络信息。该配置项需在 controller 的 config 文件进行配置（默认为 controller.cfg）。

恢复（recovery）和再平衡（rebalance）

除 recoveryWorkers 外，该章节的配置项均在 controller 的 config 文件中进行配置（默认为 controller.cfg）。

通过 redo log 恢复节点

在redo log章节介绍了重做日志相关的配置项。重做日志机制的目的就是为了防止节点宕机后数据丢失。启用重做日志机制，必须启用参考Cache Engine相关内容，同时配置对应的日志存储路径。

在集群环境下，若某个节点发起的事务未完成时，发生了节点宕机。此时，用户可选择手动重启节点，或者经过 datanodeRestartInterval 的时间，集群会自动重启该节点。

节点间数据恢复

处于宕机、离线和同步恢复中的节点，不参与事务的处理。在此期间，若其它节点发起的事务涉及到该节点上的 CHUNK，根据集群是否为多副本，可分为以下两种情况：

• 集群为单副本，事务无法进行；

• 集群为多副本，系统将发起节点间恢复。

节点间恢复分为在线增量恢复和全量同步恢复。系统会优先尝试在线增量恢复，即通过其它节点的副本数据，增量补齐该节点由于无法参与事务而缺失的数据量。若存在数据不一致等问题，造成增量的在线恢复无法进行，系统将自动转换全量同步恢复。

节点间的全量恢复将以 CHUNK 副本为单位，将完整的副本复制到宕机节点中，因此网络开销较大。

节点间的在线增量恢复，只需复制缺失的事务数据，数据量较小。其通常分为两个阶段，异步恢复和同步恢复。当数据量较大时，同步恢复会导致源节点长时间阻塞，无法参与任何事务。因此在线恢复的第一阶段采用异步恢复，源节点在此期间仍可参与其它事务。等待恢复的数据量小于 dfsSyncRecoveryChunkRowSize 配置的值时，开始第二阶段的同步恢复，在较短的时间便可以完成。

为了进一步提升节点间数据恢复任务的速度，可以通过调整配置项 dfsRecoveryConcurrency 来增加任务的并发度。

同步恢复阶段，执行恢复任务的工作线程数可由参数 recoveryWorkers 配置。

节点数据再均衡

数据再均衡（rebalance）分为节点内数据均衡和节点间数据均衡。

节点内数据均衡主要指某个节点配置了多个磁盘卷，增加新的磁盘卷后，需要把数据重新分配，以提高 I/O 效率。对应函数 rebalanceChunksWithinDataNode。

节点间数据均衡指由于集群数据在各个节点上分配不均，可通过再均衡重新分配，提高分布式计算的效率。对应函数 rebalanceChunksAmongDataNodes。

在均衡的工作并发度可通过配置项 dfsRebalanceConcurrency 指定。

集群间的异步复制：主集群

clusterReplicationSlaveNum 和 clusterReplicationMode 为必选参数。

集群间异步复制：从集群

clusterReplicationMasterCtl 和 clusterReplicationMode 为必选参数。

流数据

参考教程：流数据教程

流数据订阅

DolphinDB 集群中对流数据的处理采用发布-订阅的模式。流数据首先注入流数据表中，在发布端通过流数据表来发布数据，供其它数据节点或 API 订阅消费。若要开启流数据，需要在集群配置文件 cluster.cfg 为发布节点和订阅节点分别进行以下配置。

发布节点

发布节点支持配置一些发布数据相关的信息，如发布的消息块大小，消息队列深度。此外还需指定可以连接的订阅节点的连接数上限 maxPubConnections，由于该参数默认为 0，因此若启用流数据必须指定该参数为一个正数。

DolphinDB 提供了流数据持久化的功能，其作用主要为：

• 备份恢复流数据表，避免发布节点宕机，造成流数据表数据丢失。

• 避免流数据表过大造成内存不足。

• 支持从任意位置开始重新订阅。

开启持久化只需为发布节点的配置以下选项：

订阅节点

订阅节点订阅流数据表数据。其同发布节点一样，支持指定订阅消息的队列深度以及连接发布节点的数量上限（可以选择不指定，按默认值即可）。此外，订阅节点还可以对流数据进行消费，因此还支持对消息处理的线程数、消息处理时间间隔等进行配置。

若订阅节点消费流数据时发生宕机，重启后可能会无法获知之前消费的进度。DolphinDB 支持将订阅消费数据的偏移量进行持久化，以避免此类情况的发生。

流数据高可用

参考教程： DolphinDB教程：流数据高可用

流数据高可用和集群高可用一样采用 raft 机制，不同的是集群高可用是控制节点的高可用，而流数据高可用为数据节点的高可用。流数据高可用分为发布端、订阅端、流数据计算引擎高可用三种，其高可用的 raft 组都通过 streamingRaftGroups 参数进行配置。

• 发布端高可用（高可用流数据表）：开启发布端高可用后，高可用流数据表自动在 raft 组内的节点进行同步。订阅端只需向 leader 节点订阅高可用流数据即可。若发布端 raft 组 leader 宕机，系统也可以迅速重新选举出新的 leader，供订阅端继续订阅。

• 订阅端高可用：需在订阅函数 subscribeTable 中设置 reconnect=true，并指定 raftGroup。若订阅端 raft 组 leader 宕机，系统也可以迅速重新选举出新的 leader，继续从发布端订阅数据。

• 流数据计算引擎高可用：通过配置引擎创建函数的参数 snapshot 和 raftGroup 实现高可用。参考流计算引擎详情页：内置流式计算引擎。

作业

参考教程： 作业管理 。

DolphinDB 中有两类作业形式，同步作业和异步作业。绝大部分脚本提交的任务都称为同步作业。异步作业主要指批处理作业、定时作业。

同步作业

一个节点能同时执行的同步作业数取决于 worker 数量（使用非 web 客户端时，通过配置项 workerNum 设置）和 web worker 数量（使用 web 客户端时，通过配置项 webWorkerNum 设置）。

异步作业

批处理作业指使用 submitJob 或 submitJobEx 函数创建的作业任务。在系统中，批处理作业工作线程数的上限是由配置参数 maxBatchJobWorker 设置的。如果批处理作业的数量超过了限制，新的批处理作业将会进入队列等待，队列深度由配置参数 maxCachedBatchJobNum 设置。批处理作业工作线程在闲置超过60秒后会自动销毁。

作业并行度管理

SQL 查询

集群环境下，用户在所连接的节点（协调节点）发起一次分布式表的查询，协调节点首先会根据查询所涉及的分区拆分为子查询语句并 map 到相关的节点。在该过程中，查询的分区数若过多，数据量过大可能造成最后汇总数据时，造成内存溢出。DolphinDB 提供了一系列配置参数来限制查询。

数据库

数据表

每个持久化的 mvcc 表都有一个 log 文件。对 mvcc 表的增、删、改操作会先写入 log，直至操作次数达到一定数量，才会创建 mvcc 表检测点（checkpoint）， 将数据写入 mvcc 表，并清空 log。通过 loadMvccTable 加载 mvcc 表时，需要回放 log 文件。若 log 的数据量过大，可能导致回放耗时过长，甚至出现 OOM。 为解决此类问题，DolphinDB 提供以下配置项，用于控制 log 中的数据量。

分级存储

详情参考：TieredStorage

要开启分级存储，首先需要配置冷数据存储的磁盘路径。

若需要将过期数据存储在云端，DolphinDB 提供了 AWS S3 的相关配置：

数据形式

DolphinDB 提供普通数组（array）和大数组（bigArray）两种数组类型，array 要求连续内存，优点是性能稍高，缺点是如果要求的内存太大，系统可能由于无法提供连续的内存而分配失败；bigarray 不要求连续内存，优点是可以利用碎片小内存提供大的内存请求，缺点是性能会稍差。

DolphinDB 提供了 regularArrayMemoryLimit 参数来设置普通数组 array 的最大内存上限，如果超过该限制，那么 array 定义的变量会采用 bigArray 方式分配内存。

2.00.10.4 以下版本，系统默认将小数常量解析为 DOUBLE 类型。对于 2.00.10.4 及以上版本，可通过配置项 parseDecimalAsFloatingNumber 设置系统解析小数常量类型的默认行为。

计算

下述配置参数应用于编程时，可能影响计算规则或者计算性能：

性能监控

通过下述参数开启系统性能监控后，可以通过 getCompletedQueries, getRunningQueries 函数，获取查询的性能和状态信息；或者通过 getSystemCpuUsage, getSystemLoadAvg 获取系统的性能信息。

core dumps 相关配置

资源跟踪

DolphinDB 提供了能够追踪数据节点上用户级别的资源使用情况和查询分布式表操作的功能。此功能包括获取 CPU 和 内存使用量、记录用户对分布式表发起的 SQL 查询的次数、读取表的行数及数据量大小等能。配置这些功能通常涉及一些参数，用户可以根据具体的需求对这些配置项进行设置。

兼容性配置项

在采用值分区，且以类型为 STRING 或 SYMBOL 的列作为分区列的分布式数据表中，若分区列写入的字符包含 ':' 和 '.'，2.00.11之前的版本会忽略 ':' 和 '.'，而2.00.11 版本提供了配置项 ignoreSpecialCharacterInPartitionId 用于设置是否忽略它们。

2.00.9.4 以下版本，or 函数不忽略操作符中的 NULL，所以始终返回 NULL。对于 2.00.9.4 及以上版本，由配置项 logicOrIgnoreNull 控制是否忽略 NULL；若需要保持 or 函数的这种行为，则应该设置 logicOrIgnoreNull=false。