DolphinDB 脚本工程化管理：模块代码版本与权限管理

在使用 DolphinDB 脚本进行业务开发时，可以创建可复用模块（module），方便开发者使用。从名称来看，一个模块是后缀为 .dos 的文件；从内容来看，一个模块包含一个或多个自定义函数。

在开发人员使用模块时，有以下特点：

• 需要通过 DolphinDB GUI 或 VSCode Extension 客户端工具，将模块上传至 DolphinDB Server 指定目录。
• 不同数据节点或计算节点的模块是独立维护的。
• 模块本身不具有权限管理功能。

以上是与本教程有关的一些关键特点。更多关于模块的详细描述，请参考官网教程 DolphinDB 模块。

函数视图（Function View）是数据库系统中的一种视图，主要用于定义复杂的查询和计算逻辑，通过 SQL 语句或内置函数生成计算结果。

在开发人员使用函数视图时，有以下特点：

• 通过任意客户端工具连接 DolphinDB Server 后，调用添加函数视图的接口即可添加，并且具有用户或用户组级别的权限管理功能。
• 函数视图序列化在控制节点，多个控制节点之间会自动同步。
• 函数视图具有用户或用户组级别权限管理的功能。

以上是与本教程有关的一些关键特点。更多关于函数视图的详细描述，请参考官网教程 DolphinDB 函数视图。

某公司以 DolphinDB 为技术基础，搭建了量化投研平台，为多个业务团队提供数据与计算服务。初期，业务团队选择使用模块进行业务开发，但随着业务团队和模块数量的增加，出现了一些问题：

• 尽管初期规划了不同业务团队使用不同的模块子目录，但仍有业务人员误将模块上传至其他团队子目录，导致混乱，并且同名模块会直接覆盖，影响其他团队的正常使用。
• 业务人员可以调用其他团队的模块，存在代码安全风险。
• 不同数据节点或计算节点的模块是独立维护的，如果需要在多个节点使用相同模块，需要联系运维人员进行拷贝操作。
• 业务人员重新上传模块后，需要联系运维人员清除旧的缓存，才能使用更新后的模块。

这些问题给业务人员和运维人员都造成了困扰。在这种背景下，如何有效解决这些问题，同时更好地为业务赋能、减轻运维负担，显得尤为重要。

函数视图可以解决权限问题，也可以避免运维人员操作的麻烦，并且我们保留了模块作为中间桥梁，通过目录树结构进行有序分类存储和便捷的版本管理，这样创建的函数视图也更有层次性、组织性。与此同时，引入 GitLab 代码仓库，通过三者的有机结合，解决上述问题。

整个方案的技术框架如下图：

图2-1 模块代码版本与权限管理技术框架图

在框架图中，模块代码一键部署工具部分（绿色）为了简化业务人员使用，降低出错风险，已封装成一个函数视图（deployModuleFromGitLab）。运维人员部署该函数视图，并赋予业务人员执行权限。业务人员调用该函数视图，即可对 GitLab 中的模块代码进行一键部署。

依赖一：httpClient 插件

该插件非 server 安装包自带，须手动安装。在线安装方式如下：

login(`admin, yourAdminPwd) // 登录管理员账号
installPlugin("httpClient") // 通过插件市场安装在线安装

也可以通过插件市场手动下载并上传至服务器。

依赖二：zip 插件

该插件 server 安装包自带，无须安装。

依赖三：配置 httpClient、zip 插件节点启动预加载

如果为集群模式，控制节点、数据节点、计算节点均需配置：

preloadModules=plugins::httpClient,plugins::zip

依赖四：允许管理员调用 shell 函数

所有节点均需配置：

enableShellFunction=true

在附件 gitModules.dos 文件中，更改您的管理员账号的登录密码，并全选执行，即可注册 deployModuleFromGitLab 函数视图。

我们将 deployModuleFromGitLab 的执行权限赋予 test_user 用户，同时赋予该用户添加函数视图的权限，代码如下：

login(`admin, yourAdminPwd) // 登录管理员账号
grant("test_user", VIEW_EXEC, `deployModuleFromGitLab)
grant("test_user", VIEW_OWNER)

函数语法：

deployModuleFromGitLab(gitLabSite, repoId, repoBranch, privateToken, timeout)

各个参数的的含义说明如下：

1. 模块声明时，第一层级必须为用户名称，该用户名称为 DolphinDB 中的用户名称。

   为什么要增加用户名称这样一个层级？因为模块中的每个函数最终会被添加为一个函数视图，这里的用户名称，也就是函数视图的拥有者（VIEW_OWNER）。

2. 模块声明时使用 module 关键字，模块引用时使用 use 关键字，这两个关键字所在行的前面不能有空格。

   例子：期望创建一个 ta 模块，假如用户名称为 test_user，那么模块名称为 test_user::ta

   声明模块 test_user::ta 通过以下脚本实现

   module test_user::ta 

   引用模块 test_user::ta 通过以下脚本实现

   use test_user::ops

模块之间可以单向引用，不支持交叉引用。

例子：

模块 test_user::ta 中的部分内容：

module test_user::ta
use test_user::ops

//此处省略了函数定义

模块 test_user::ops 中的部分内容：

module test_user::ops
use test_user::mytt

//此处省略了函数定义

以上代码示例中，ta 引用了 ops，ops 引用了 mytt，是一种单向引用。

模块名称和所对应的 dos 文件名称必须严格一致。

例子：模块名称为 test_user::ta 所对应的 dos 文件名称必须为 ta.dos。

模块名称和所对应的目录层级必须严格一致。

例子：假如 Gitlab 代码仓库名称为 testModules，那么名称为 test_user::easyTLDataImport::createDB 的模块所对应的目录层级必须为 testModules/easyTLDataImport/createDB.dos。