功能配置

在 redo log 章节介绍了重做日志相关的配置项。重做日志机制的目的就是为了防止节点宕机后数据丢失。启用重做日志机制，必须启用参考Cache Engine相关内容，同时配置对应的日志存储路径。

在集群环境下，若某个节点发起的事务未完成时，发生了节点宕机。此时，用户可选择手动重启节点，或者经过 datanodeRestartInterval 的时间，集群会自动重启该节点。

控制节点存储了集群访问所需的元数据信息。普通集群只包含一个控制节点，若控制节点发生宕机，将造成集群瘫痪。为了避免这种情况，DolphinDB 允许多个控制节点组成 raft 组，来实现控制节点的高可用。

启用控制节点高可用，需要在 raft 组中各个 controller 的 config 文件（默认 controller.cfg）中指定配置项 dfsHAMode=Raft。

同时需要修改所有 agent 的 config 文件（默认为 agent.cfg），代理节点配置的 controllerSite 可指定为 raft 组的任一节点。在代理节点信息后必须增加 sites 参数，需包含本机器代理节点和所有控制节点的局域网信息。

同时需要在 nodesFile 增加所有集群节点的网络信息。

此外，DolphinDB 还提供了配置参数用于设置 raft。该参数需在控制节点的 config 文件配置。

为了保证数据的安全和高可用，DolphinDB 支持在不同的服务器上存储多个数据副本，并且采用二阶段提交协议实现数据副本之间以及数据和元数据之间的强一致性。即使一台机器上的数据损坏，也可以通过访问其他机器上的副本数据来保证数据服务不中断。要开启副本数和备份机制，需在控制节点的 config 文件配置以下参数：

多副本集群环境下，若某个数据节点宕机，将会造成集群的副本数和配置项 dfsReplicationFactor 不一致。此时若配置了 dfsRecoveryWaitTime，系统将在等待 dfsRecoveryWaitTime 时间后，将不一致的副本复制给其它节点。该参数默认值为 0，表示一直等待节点恢复，不发起副本复制任务。该参数也需在控制节点的 config 文件配置。

DolphinDB 采用多线程技术，有以下几种常见的线程类型：

• worker：常规交互作业的工作线程，接收客户端请求，将任务分解为多个小任务，根据任务的粒度自己执行或者发送给 local executor 或 remote executor 执行。

  从 2.00.10 版本开始，DolphinDB 引入了多级任务算法，即将作业及其拆分出来的子任务区分为不同的层级，并分配给相应层级的 worker 来处理。DolphinDB 提供了0~5个级别的 worker。 客户端提交至节点的作业为0级，由0级 worker 处理。根据作业所涉及到的分区，0级 worker 将作业分解为多个子任务，其中本地节点上的子任务由0级或1级 worker 并行执行；需要由远程节点执行的子任务则降低为1级，并通过 remote executor 发送到对应节点上的1级 worker 处理。以此类推，若某个级别的子任务需要进一步拆解，则拆分出来的由远程节点执行的子任务降低一级，发送至远程节点上对应层级的 worker 处理。 这种根据任务层级分配不同层级 worker 的线程工作机制，可以有效避免因各个子任务执行期间彼此依赖而导致的死锁问题。

• remote executor：远程执行线程，将子任务发动到远程节点的独立线程。远程执行线程具有容错机制。在多个计算机都包含任务所需数据的副本的情况下，如果一台计算机出现故障，远程执行线程将该任务发送到另一台计算机。
• batch job worker：批处理作业的工作线程。其上限通过配置项 maxBatchJobWorker 设置，默认值是workerNum。该线程在任务执行完后若闲置60秒则会被系统自动回收，不再占用系统资源。
• dynamic worker：动态工作线程，作为 worker 的补充。其上限通过配置项 maxDynamicWorker 设置，默认值是 workerNum。如果所有的工作线程被占满，有新任务时，系统会创建动态工作线程来执行任务。根据系统并发任务的繁忙程度，总共可以创建三组动态工作线程，每一个级别可以创建 maxDynamicWorker 个动态工作线程。该线程在任务执行完后若闲置60秒则会被系统自动回收，不再占用系统资源。
• web worker：处理 HTTP 请求的工作线程。DolphinDB 提供了基于 web 的集群管理界面，用户可以通过web 与 DolphinDB 节点进行交互。其上限通过配置项 webWorkerNum 设置，默认值是1。
• urgent worker：紧急工作线程，只接收一些特殊的系统级任务，譬如登录，取消作业等。其上限通过配置项 urgentWorkerNum 设置，默认为1。

相关配置参数：

参考线程教程：线程模型

下述配置参数应用于编程时，可能影响计算规则或者计算性能：

利用 DolphinDB 做大数据的查询和计算时，可能会由于内存不足造成 OOM。为了尽量避免查询时内存溢出的情况，DolphinDB 提供了一系列内存调优的参数。

maxMemSize 决定了 server 运行在服务器的内存上限。该参数受机器内存上限的影响。

当内存占用达到 warningMemSize 时，系统会自动清理数据库的缓存，释放一部分内存，以避免 OOM。

内存不足时，DolphinDB 为了避免一次性申请过大内存造成内存溢出的情况，提供了以下两个配置项，限制该场景下可申请的内存块大小，以尽可能避免 OOM 的发生。

此外 DolohinDB 还提供了配置项，用来调整内存释放的速度。该参数等价于设置了 TCMalloc 的 tcmalloc_release_rate。

设置 dataSync=1 后，每个节点的内存将维护 OLAP Cache Engine 和 TSDB Cache Engine。该参数配置需在 controller 的 config 文件配置（默认为 controller.cfg）。

DolphinDB 提供普通数组（array）和大数组（bigArray）两种数组类型，array 要求连续内存，优点是性能稍高，缺点是如果要求的内存太大，系统可能由于无法提供连续的内存而分配失败；bigarray 不要求连续内存，优点是可以利用碎片小内存提供大的内存请求，缺点是性能会稍差。

DolphinDB 提供了 regularArrayMemoryLimit 参数来设置普通数组 array 的最大内存上限，如果超过该限制，那么 array 定义的变量会采用 bigArray 方式分配内存。

DolphinDB 数据存储的路径取决于配置参数 volumes。

在对读写要求较高的场景下，用户可以选择指定多个 volumes，并将其配置在多个磁盘上。此外，用户可以通过配置磁盘读写线程的数量，来提升磁盘的 I/O。

某些文件系统不支持 hardLink 功能，需修改配置 hardLink = false。

通过 maxFileHandles 配置项可以调整一个 dolphindb 进程允许打开文件数。

2.00.9 版本开始支持自定义交易日历。以下函数 temporalAdd, resample, asFreq, transFreq 中指定交易日历。

根据 marketHolidayDir 下已存在的节假日文件生成交易日历，并采用文件名作为交易日历的标识。交易日历文件在系统启动时被加载到内存中。需要注意：

• 系统默认周末为节假日，因此文件内只需填写非周末的休市日期。
• 建议将交易日历文件以交易所编码命名，如 “CEFG.csv”。

分布式文件系统中，集群的元数据信息存储在控制节点上，对应文件为： DFSMetaLog.xxx 和 DSFMetaCheckpoint.xxx。可通过下述配置项指定存储目录：

为了减少网络传输的开销，建议集群所有节点配置在同一局域网下。

单节点模式下默认 server 的 ip 为本机 ip，端口号为 8848。若端口号被占用，可前往 config 指定的配置文件进行修改。

从 2.00.9 版本开始，DolphinDB 支持通过 License Server 来为注册到它上面的节点分配硬件资源。注意：若要启动 License Server，必须使用 Type3 类型的 license，详情咨询技术支持。 License Server 相关配置：

集群环境下，控制节点和代理节点启动前，需在各自的 config 文件中配置自身的 localSite；代理节点还需额外配置 controllerSite。

localSite 中的 host:port 为节点的 ip 和端口号，alias 将作为节点的别名。设置别名可以便于脚本编程中快速定位到指定节点，并与之建立通信连接，如 subscribeTable 函数中指定 server 参数为远端节点的别名，即可订阅远端节点发布的流数据表。用户可在线调用 getNodeAlias 获取当前节点的别名，或 getControllerAlias 获取控制节点的别名。

节点的属性通过配置项 mode 声明，目前的可选值为 controller（控制节点），agent（代理节点），datanode（数据节点）以及 computenode（计算节点）。该配置项需在所有节点 config 文件声明。

除了 config 文件外，controller 服务器配置的 nodesFile 文件中，也包含了所有集群代理节点、数据节点和计算节点的 localSite 和 mode，该文件为 controller 提供了集群的网络信息，以便控制节点可以访问到其它节点。

节点与节点之间基于 TCP 协议传输数据，DolphinDB 提供了 TCP 配置选项 tcpNoDelay，便于用户在实际生产场景下，进行通信调优。启用该参数在一定程度上可以减小传输延迟，但可能带来更大的网络负载。

控制节点通过心跳机制监控其它节点的存活状态，心跳可以采用 TCP/UDP 传输，通过配置项 lanCluster 指定。该参数需配置在代理节点、数据节点和计算节点的 config 文件。若心跳超时，则控制节点会认为该节点已经宕机。因此，在网络较差的场景下，建议配置较大的 dfsChunkNodeHeartBeatTimeout。

集群内每个节点都与集群其它远程节点相连接。每个节点连接上限数取决于配置项 maxConnectionPerSite。

特别地，DolphinDB 设计开发了 RDMA（Remote Direct Memory Access，远程直接数据存取）全新通讯架构。区别于 TCP/IP 网络架构， RDMA 实现了对远程计算机内存的直接访问能力，特别适用于需要高速、低延迟通信的场景，如使用分布式内存表、处理 RPC 操作等（不支持处理流数据）。

在使用 RDMA 功能时，可直接延用已传入的参数 ip 和 port，且原有代码可以实现完全复用。目前 RDMA 仅支持 Linux 系统中集群内部调用 RPC（远程过程调用）的情况。

使用时，请确保已在当前机器中下载依赖的 libibverbs 库，并且在当前的所有节点（包括 controller、datanode、computenode 和 agent）的配置中都已启用 RDMA 功能。否则集群无法正常工作。以下为配置项的具体介绍。

注意：开启 RDMA 后不可使用 SSL 功能。

用户通过 API, GUI, Web notebook 开启一个会话，并通过会话和对应节点建立一个连接。每个节点的最大外部会话连接上限数由配置参数 maxConnections 决定。

Web notebook、VS Code 等编辑器与 DolphinDB server 默认采用 HTTP 协议传输数据。可通过配置 enableHTTPS，决定是否采用安全传输协议 HTTPS 进行传输。

局域网环境下通过控制节点的 ip:port 可以直接访问集群的 web 管理器，若控制节点和其它节点不在同一局域网下，需指定控制节点的外网网络信息。该配置项需在 controller 的 config 文件进行配置（默认为 controller.cfg）。

处于宕机、离线和同步恢复中的节点，不参与事务的处理。在此期间，若其它节点发起的事务涉及到该节点上的 CHUNK，根据集群是否为多副本，可分为以下两种情况：

• 集群为单副本，事务无法进行；
• 集群为多副本，系统将发起节点间恢复。

节点间恢复分为在线增量恢复和全量同步恢复。系统会优先尝试在线增量恢复，即通过其它节点的副本数据，增量补齐该节点由于无法参与事务而缺失的数据量。若存在数据不一致等问题，造成增量的在线恢复无法进行，系统将自动转换全量同步恢复。

节点间的全量恢复将以 CHUNK 副本为单位，将完整的副本复制到宕机节点中，因此网络开销较大。

节点间的在线增量恢复，只需复制缺失的事务数据，数据量较小。其通常分为两个阶段，异步恢复和同步恢复。当数据量较大时，同步恢复会导致源节点长时间阻塞，无法参与任何事务。因此在线恢复的第一阶段采用异步恢复，源节点在此期间仍可参与其它事务。等待恢复的数据量小于 dfsSyncRecoveryChunkRowSize 配置的值时，开始第二阶段的同步恢复，在较短的时间便可以完成。

为了进一步提升节点间数据恢复任务的速度，可以通过调整配置项 dfsRecoveryConcurrency 来增加任务的并发度。

同步恢复阶段，执行恢复任务的工作线程数可由参数 recoveryWorkers 配置。

数据再均衡（rebalance）分为节点内数据均衡和节点间数据均衡。

节点内数据均衡主要指某个节点配置了多个磁盘卷，增加新的磁盘卷后，需要把数据重新分配，以提高 I/O 效率。对应函数 rebalanceChunksWithinDataNode。

节点间数据均衡指由于集群数据在各个节点上分配不均，可通过再均衡重新分配，提高分布式计算的效率。对应函数 rebalanceChunksAmongDataNodes。

在均衡的工作并发度可通过配置项 dfsRebalanceConcurrency 指定。

在节点恢复过程中，为了避免节点宕机或离线对恢复过程造成太大影响，可以开启节点恢复事务的重做日志，配置 enableDfsRecoverRedo = true。开启后，在节点恢复的过程中，会将恢复事务相关的数据先写入 recover redo log 中。

参考教程： 作业管理 。

DolphinDB 中有两类作业形式，同步作业和异步作业。绝大部分脚本提交的任务都称为同步作业。异步作业主要指批处理作业、定时作业。

参考教程：流数据教程。

DolphinDB 提供了流数据持久化的功能，其作用主要为：

• 备份恢复流数据表，避免发布节点宕机，造成流数据表数据丢失。
• 避免流数据表过大造成内存不足。
• 支持从任意位置开始重新订阅。

开启持久化只需为发布节点的配置以下选项：

集群环境下，用户在所连接的节点（协调节点）发起一次分布式表的查询，协调节点首先会根据查询所涉及的分区拆分为子查询语句并 map 到相关的节点。在该过程中，查询的分区数若过多，数据量过大可能造成最后汇总数据时，造成内存溢出。DolphinDB 提供了一系列配置参数来限制查询。

创建数据库和数据表时，除了直接指定函数参数进行配置，DolphinDB 还提供了一部分配置文件中的配置项：

每个持久化的 mvcc 表都有一个 log 文件。对 mvcc 表的增、删、改操作会先写入 log，直至操作次数达到一定数量，才会创建 mvcc 表检测点（checkpoint）， 将数据写入 mvcc 表，并清空 log。通过 loadMvccTable 加载 mvcc 表时，需要回放 log 文件。若 log 的数据量过大，可能导致回放耗时过长，甚至出现 OOM。 为解决此类问题，DolphinDB 提供以下配置项，用于控制 log 中的数据量。

DolphinDB TSDB 引擎的 redo log 的存储路径可通过以下参数进行配置：

在集群模式中，需要保证同一机器上的数据节点配置了不同的 TSDBRedoLogDir。

TSDB 引擎在读取或写入数据时，会对相关分区的 symbolBase 数据进行缓存。系统采用 LRU（最近最少使用）策略管理 symbolBase 缓存，提供以下两个配置项，可以根据缓存时间或缓存容量来决定何时逐出未被使用的 symbolBase 数据。其中，未被使用的 symbolBase 是指其对应的分区数据不在 Cache Engine 中，也不在执行的任何事务中。

DolphinDB TSDB 引擎的 Cache Engine 的大小可通过以下配置项设置：

除了 Cache Engine, TSDB 引擎在内存还维护了到 level file 数据块的索引，索引大小可由配置项 TSDBLevelFileIndexCacheSize 指定。

若读取的索引超过 TSDBLevelFileIndexCacheSize，DolphinDB 内部会根据访问时间，将最不常访问的索引进行置换。

为提高计算资源利用率，降低使用 TSDB 引擎时合并 level file 的耗时，以及尽可能平衡负载，DolphinDB 在 2.00.11 版本提供了用于调整每个 volume 下可处理合并任务的线程数量（worker）的配置项 compactWorkerNumPerVolume。

DolphinDB OLAP 引擎的 redo log 的存储路径可通过以下参数进行配置：

DolphinDB OLAP 引擎的 Cache Engine 的大小可通过以下配置项设置：

OLAP 引擎节点的元数据文件为 editlog.xxx 和 checkpoint.xxx，其存储路径可通过下述参数配置。

详情参考：TieredStorage

要开启分级存储，首先需要配置冷数据存储的磁盘路径。

若需要将过期数据存储在云端，DolphinDB 提供了 AWS S3 的相关配置：

通过下述参数开启系统性能监控后，可以通过 getCompletedQueries, getRunningQueries 函数，获取查询的性能和状态信息；或者通过 getSystemCpuUsage, getSystemLoadAvg 获取系统的性能信息。

DolphinDB 提供了能够追踪数据节点或计算节点上用户级别的资源使用情况和查询分布式表操作的功能。此功能包括获取 CPU 和 内存使用量、记录用户对分布式表发起的 SQL 查询的次数、读取表的行数及数据量大小等能。配置这些功能通常涉及一些参数，用户可以根据具体的需求对这些配置项进行设置。

DECIMAL 与其他类型之间的转换规则发生变化，包括以下场景：

• 浮点数字符串解析为 DECIMAL 类型（例如 loadText 等函数加载数据文件）
• 浮点数转换为 DECIMAL 类型
• DECIMAL 类型转换为整型
• 高精度的 DECIMAL 类型数转换为低精度 DECIMAL 类型

2.00.10 版本，浮点数字符串解析为 DECIMAL 类型的情况，采用的舍入模式由直接截断修改为四舍五入；

其他场景在 2.00.12 版本之前一直采用直接截断的方式。

2.00.12 版本提供了配置项 decimalRoundingMode 统一设置舍入模式。

在采用值分区，且以类型为 STRING 或 SYMBOL 的列作为分区列的分布式数据表中，若分区列写入的字符包含 ':' 和 '.'，2.00.11之前的版本会忽略 ':' 和 '.'，而2.00.11 版本提供了配置项 ignoreSpecialCharacterInPartitionId 用于设置是否忽略它们。

2.00.9.4 以下版本，or 函数不忽略操作符中的 NULL，所以始终返回 NULL。对于 2.00.9.4 及以上版本，由配置项 logicOrIgnoreNull 控制是否忽略 NULL；若需要保持 or 函数的这种行为，则应该设置 logicOrIgnoreNull=false。

2.00.10 以前版本，在执行 JOIN 操作时，连接列中的 NULL 与 NULL 被视为匹配成功，这不符合 ANSI SQL 语义；为提高对 ANSI SQL 的兼容性：

• 自 2.00.10 版本起，在 DolphinDB 中执行 JOIN 操作时，连接列中的 NULL 与 NULL 视为匹配失败。
• 为进一步提高 NULL 值匹配的灵活性，自 2.00.12 版本起，增加以下配置项，用于设置 NULL 值的匹配逻辑。

2.00.10.4 以下版本，系统默认将小数常量解析为 DOUBLE 类型。对于 2.00.10.4 及以上版本，可通过配置项 parseDecimalAsFloatingNumber 设置系统解析小数常量类型的默认行为。