分布式架构概述

DolphinDB 集群底层采用 shared-nothing 架构，同时在物理架构之上引入了一层抽象的逻辑上的文件系统，构建了自研的分布式架构，实现了数据分布式存储。在这一架构中，集群中的各个节点相互独立，拥有自己独立的计算资源和存储资源，不共享中心资源。元数据文件存储在控制节点上，而分区数据按指定逻辑进行划分，存储在不同的数据节点上。这个逻辑上的文件系统有效地组织了各节点的文件和目录服务，形成了一个全局的目录结构，从而屏蔽了各节点具体物理路径的细节。由于逻辑文件系统的存在，用户无需关心数据具体存储在哪个物理节点上。不论用户无论从哪个物理节点进行数据访问，路径都是相同的。

集群模式包含四种角色：控制节点、代理节点、数据节点和计算节点。

• 控制节点：DolphinDB 集群的核心部分，负责收集代理节点和数据节点的心跳，监控每个节点的工作状态，管理分布式文件系统的元数据、分配分区位置，并提供对事务的支持。

• 代理节点：负责执行控制节点发出的启动和关闭数据节点或计算节点的命令。在一个集群中，每台物理服务器有且仅有一个代理节点。

• 数据节点：既可以存储数据，也可以用于数据的查询和计算。每台物理服务器可以配置多个数据节点。

• 计算节点：不存储表数据和元数据，只承担计算相关的职能，负责响应客户端请求并返回结果。适用于数据密集型查询计算任务（如流计算、分布式关联和机器学习等）。每台物理服务器可以配置多个计算节点。

DolphinDB 集群架构图如下：

主流的分布式数据库大多采用主从架构，主节点不仅要负责管理元数据和状态同步，还要双机热备来保证高可用，容易成为系统瓶颈，增加系统横向扩展的难度。而 DolphinDB 的分布式架构，依靠全局可见的元数据服务，任何数据节点都可以成为查询请求和数据写入的入口，不存在系统瓶颈点，更容易做到资源的负载均衡。