3.00.1

注： 同时建议阅读兼容性说明。

版本下载

版本号：3.00.1 二级兼容 2.00.12 和 3.00.0

发行日期： 2024-06-30

下载地址：

新功能

  • 新增函数 getDBAccess 和 getTableAccess，能够查看拥有访问自己数据库和数据表权限的用户列表。（3.00.1.3）
  • genOutputColumnsForOBSnapshotEngine 新增参数 residualDetail，用于指定输出剩余委托明细字段。同时 createOrderBookSnapshotEngine 支持输出剩余委托明细字段。（3.00.1.3）
  • 函数 mcount、mrank 新增参数 minPeriods，可规定滑动窗口中最少包含的观测值数据。（3.00.1.2）
  • 新增函数 hmac，实现 HMAC（Hash-based Message Authentication Code）算法。（3.00.1.2）
  • genOutputColumnsForOBSnapshotEngine 新增参数 seqDetail，用于指定输出序列号明细字段。同时 createOrderBookSnapshotEngine 支持输出序列号明细字段。（3.00.1.2）
  • 新增函数 updateOrderBookEngineParams，用于在线设置 orderbookSnapshotEngine 的部分参数（通常是静态字段）值。（3.00.1.2）
  • 新增函数 vectorNorm，用于计算矩阵/向量的范数。（3.00.1.2）
  • 新增配置项 queryLogRetentionTime，用于设置节点查询日志文件的保留时间。（3.00.1.2）
  • 新增 remoteRunCompatible 函数，功能与 remoteRun 相同。差别是此新增函数不对本地和远程数据库的版本进行验证。
  • scheduleJob 新增参数 priority 和 parallelism，用于设置定时任务的优先级和并行度。
  • saveText 新增参数 bom，可以在导出文件时指定是否输出 bom 头。
  • 新增 fminLBFGSB 函数，支持使用 L-BFGS-B 算法找到目标函数的最小值。
  • 新增 fminNCG 函数，支持使用牛顿共轭梯度法对目标函数进行无约束最小化。
  • 新增 fminBFGS 函数，支持使用 BFGS 算法找到目标函数的最小值。
  • 新增 fminSLSQP 函数，支持使用顺序最小二乘编程方法找到目标函数的最小值。
  • 新增 piecewiseLinFit 和 pwlfPredict 函数，用于拟合分段线性回归函数和根据回归模型对数据进行预测。
  • 新增 brute 函数，用于通过穷举法在给定范围内最小化一个函数。
  • 新增 gaussianKde 和 gaussianKdePredict 函数，用于使用核密度估计方法中的高斯核来估计随机变量的概率密度，和根据回归模型对数据进行预测。
  • 新增 vectorAR 函数，用于使用向量自回归模型来分析多变量时间序列。
  • 新增 eqPercent 函数，用于根据自定义约束条件，判断两个输入参数的每个对应位置上的元素是否都相等。
  • 新增配置项 batchJobFileRetentionTime，用于设置批处理作业和定时任务执行后输出信息的最长保留时间。
  • 新增配置项 resourceSamplingLogDir，用于设置资源跟踪日志的存储路径。
  • 支持三元运算符(? :)。
  • 新增 tensor 数据类型，可与 DolphinDB 插件配合使用，实现与深度学习框架之间的数据交换和处理。
  • 新增配置项 enableRDMA，用于开启 RDMA 全新通讯架构。
  • 新增配置项 allowTSDBLevel3Compaction，用于设置是否启用 level 3 层级的 Level File 的合并。同时，triggerTSDBCompaction 函数新增参数 level， 用于指定触发哪一层级的 Level File 合并。
  • 新增配置项 jobLogRetentionTime， 用于设置数据节点上查询信息日志的最长保留时间。
  • createPartitionedTable新增参数 indexes，支持位列指定索引，以实现向量检索功能。
  • 新增 removeNode 函数，以支持动态删除计算节点。同时支持通过 addNode 一次添加多个节点。
  • 支持 chimp 压缩算法。
  • database的 engine 参数新增选项 “PKEY”，支持创建主键存储引擎，同时 createPartitionedTable新增参数 primaryKey，用于指定表的主键列。
  • 新增函数 setTableComment，用于为分布式表添加表注释。同时 create 语句新增参数 comment，可在创建分布式表时添加表注释。
  • 新增配置项 TSDBSymbolBaseEvictTime 和 TSDBCachedSymbolBaseCapacity，可以根据缓存时间或缓存容量来决定何时逐出未被使用的 symbolBase 数据。同时新增函数 clearAllTSDBSymbolBaseCache，用于清除缓存中所有未被使用的 symbolBase。
  • createPartitionedTable 函数和 create 语句的 partitionColumns 参数支持为数据列指定函数，进而将函数的结果作为分区的依据。
  • SQL DELETE 语句和 sqlDelete 函数支持通过 join 来指定删除行。
  • 新增函数 setTableComment，用于为分布式表添加注释。同时 create 语句中新增参数 comment。
  • 新增配置项 memLimitOfAllTempResults，用于设置分布式查询操作中产生的所有临时表可以占用的内存上限。同时新增了与其对应的函数 setMemLimitOfAllTempResults 和 getMemLimitOfAllTempResults 分别用于动态设置和获取配置项。
  • 新增配置项 enableInsertStatementForDFSTable，用于设置是否允许 insert into 语句插入 DFS 表。
  • insert into 支持插入多行数据。

功能优化

  • 增强 loadPlugin 函数功能，以支持插件市场的付费插件。（3.00.1.3）
  • 优化 createOrderBookSnapshotEngine 函数在设置 useSystemTime = true 时的以下功能：（3.00.1.3）
    • 每隔 intervalInMilli 输出一次数据。
    • 休盘时段 (11:30:00.000，13:00:00.000] 不输出数据。
  • 响应式状态引擎的状态函数 percentChange 和 deltas 允许将参数 n 指定为正整数。（3.00.1.3）
  • 函数 writeLogLevel 的参数 level 支持传入整数标量 0、1、2 或 3，分别对应 DEBUG, INFO, WARNING, ERROR。（3.00.1.3）
  • 优化持久化流表的加载速度。（3.00.1.3）
  • 优化控制节点元数据 checkpoint 机制，在元数据较大的情况下减少 checkpoint 频率。（3.00.1.3）
  • 分区方案使用时间类型时，对分区列的类型增加校验。（3.00.1.3）
  • 优化登录失败保护机制，即仅在登录失败的 IP 地址上锁定用户登录。（3.00.1.2）
  • 若 TSDB 引擎的去重设置为保留所有数据，则通过upsert! 更新数据时，支持 keyColNames 仅指定 sortColumns 的部分列。（3.00.1.2）
  • backup 等相关操作支持记录 tableOwner 信息。同时restore 等相关操作支持恢复 databaseOwner 和 tableOwner 信息。（3.00.1.2）
  • 优化 orderbookSnapshotEngine 的以下功能：
    • 优化合成逻辑，已停牌的标的数据将不会合成输出。（3.00.1.2）

  • 增强权限管理等功能，以提高系统安全性。（3.00.1.1）

  • 优化 interval 函数的以下功能：
    • duration 参数支持交易日历。
    • 当参数 duration 和 step 长度不同时， 在对非分区表的查询中可以对查询列应用自定义聚合函数。
  • flatten 函数支持元组嵌套。
  • logisticRegression 函数精度与 SKLearn 中相应函数对齐。
  • 提高函数 std, stdp, var, varp, skew, kurtosis 的精度。
  • 高阶函数 moving 的参数 func 支持返回 tuple 的函数。
  • addMetrics 新增支持 fill 参数，可以指定对空值处理方法。
  • parseJsonTable 函数支持传入的表中包含 BLOB 类型的列。
  • isDuplicated 函数支持 BLOB 类型。
  • fmin 函数优化输入参数。
  • rowAlign 函数支持列式元组。
  • rolling 函数支持显示行标签。
  • 元编程中的列别名支持使用宏变量。
  • registerSnapshotEngine 函数新增参数 dedupColumnName，以支持在集群中所有数据节点上为分布式表注册快照引擎。
  • 模式符号可以搭配系统内置，作为一个运算符。
  • restore 函数的 snapshot 参数的默认值由 true 修改为 false。
  • 异步复制中从集群中不再需要通过clusterReplicationExecutionPassword 配置密码，以提高安全性。
  • 提升 TSDB redolog 回放性能。
  • version 函数支持返回更多版本信息。
  • clearAllCache 新增支持清理 TSDB 引擎相关的缓存。
  • TSDB 数据写入时可以压缩空值列。
  • createSchema 不支持将数据库同时加到两个 catalog 中。
  • 优化订单簿引擎的以下功能：
    • 报错日志等级修改为 WARNING。
    • createOrderBookSnapshotEngine 新增参数 useSystemTime，支持使用系统时间来触发快照输出。
  • 优化响应式状态引擎的以下功能：
    • 支持对 array vector 列使用 prev 函数。
    • 优化报错信息。
    • 新增支持 35 个 topN 状态函数。
    • keyColumn 由必填参数修改为可选参数。
    • 自定义状态函数中赋值语句的右值支持返回多个值的自定义函数。
  • createLookupJoinEngine 的参数 rightTable 支持指定为元代码。
  • 如下流计算引擎的 metrics 支持指定为常数标量或向量：createReactiveStateEngine, createAsofJoinEngine，createLookupJoinEngine，createEquiJoinEngine，createLeftSemiJoinEngine 。
  • enableTablePersistence 和 enableTableShareAndPersistence 函数新增参数 cachepurgeTimeColumn, cachePurgeInterval, cacheRetentionTime，用于设置持久化流表在内存中的数据清理策略。
  • createTimeSeriesEngine 和 createDailyTimeSeriesEngine 的 acceptedDelay 参数支持根据数据时间来设置关闭窗口的延时。
  • 如下流计算引擎新增支持 outputHandler, msgAsTable 参数，支持输出结果到一个一元函数：createTimeSeriesEngine, createDailyTimeSeriesEngine, createReactiveStateEngine, createDualOwnershipReactiveStateEngine, createNarrowReactiveStateEngine。
  • 优化 SQL JOIN 的以下功能：
    • INNER JOIN 和 LEFT JOIN 支持生成 IN 谓词的 动态过滤条件（Runtime Filter），以提升查询性能。
    • 提升对分区字段进行过滤，同时搭配 LIMIT 字段时的查询性能。
    • CASE WHEN 语句支持分析函数 OVER(PARTITION BY xxx)。
  • 优化 JIT 高阶函数 accumulate 和 reduce。
  • JIT 支持处理索引矩阵。

故障修复

  • [D20-18167] 开启资源跟踪后，可能导致 server 崩溃。（3.00.1.3）
  • [D20-18430] 表连接时，若表里包含的数组向量中的元素超出长度限制时，导致 server 崩溃。（3.00.1.3）
  • [D20-18483] 操作 MVCC 表发生事务异常时，未正确清理状态。（3.00.1.3）
  • [D20-18522] moveHotDataToColdVolume 在对相同分区进行并发转移时，发生数据丢失。（3.00.1.3）
  • [D20-18540] 作业开始时，如果磁盘被占满，则不能正确记录作业信息，如开始时间。（3.00.1.3）
  • [D20-18544] 响应式状态引擎在设置 keepOrder 为 true 时，若对 array vector 数据执行 prev，其结果不符合预期。（3.00.1.3）
  • [D20-18548] 使用函数 createLookupJoinEngine 创建 LookupJoin 引擎时，若 rightTimeColumn 中包含大写字母，且在 metrics 中包含该列时，则会导致报错：”A table can't contain duplicate column names“。（3.00.1.3）
  • [D20-18553] 在高可用集群中，当 controller 发生重启，若 checkpoint 失败，可能导致元数据丢失。（3.00.1.3）
  • [D20-18554] 控制节点的元数据在极端情况下会出现一个分区路径对应多个 chunkid。（3.00.1.3）
  • [D20-18603] rollingPanel 在指定 groupingCol 参数时，未进行分组。（3.00.1.3）
  • [D20-18640] 若 submitJob 或 scheduleJob 中的任务包含 lambda 函数，当创建它们的 session 断开后，可能导致 server 崩溃。（3.00.1.3）
  • [D20-18661] 当 SQL 查询中使用到 vectorized grouping 算法时，若聚合函数的某个参数是标量或大小与输入表不匹配的向量时，可能导致结果错误。（3.00.1.3）
  • [D20-18703] 在对分布式表进行 EXEC 查询时，如果指定了 ORDER BY 和 LIMIT/TOP（设置为正数），且 ORDER BY 仅涉及一个分区列且采用降序排序，引发错误：“The result of distributed call is not a table”。（3.00.1.3）
  • [D20-18723] createDailyTimeSeriesEngine 在经过 forceTriggerSessionEnd 时间后，若接收到时间戳小于 sessionEnd 的数据，可能输出非预期的结果。（3.00.1.3）
  • [D20-18780] 若异步复制任务中存在数据损坏，系统无法跳过该任务而持续重试。（3.00.1.3）
  • [D20-18790] 使用 order by 和 limit/top 进行分布式查询优化时，在执行最终查询时找不到所需的列。（3.00.1.3）
  • [D20-18827] 通过 parseJsonTable 解析 JSON 对象时，若 JSON 对象的字符串中包含 \\\" 时，会导致解析错误或报错。（3.00.1.3）
  • [D20-18871] left join 在发生 OOM 时可能返回空指针，导致 server 崩溃。这是 2.00.13 和 3.00.1 引入的问题。（3.00.1.3）
  • [D20-18889] 流订阅偶发失败。（3.00.1.3）
  • [D20-18935] wsum, wavg 等聚合函数的输入参数为一个标量和一个空数组时，返回错误结果。（3.00.1.3）
  • [D20-19049] 修改 flatten 函数以兼容之前版本。（3.00.1.3）
  • [D20-18152] 某个最大优先级或并行度小于默认值的用户通过 Web 或 VS Code 提交前台任务，该任务的优先级或并行度仍为默认值。（3.00.1.2）
  • [D20-18162] 审计日志中 APPEND 操作的开始日期记录错误。（3.00.1.2）
  • [D20-18195] 上传加密模块可能导致当前会话中的变量丢失。（3.00.1.2）
  • [D20-18245] 执行 backup 函数时，如果过滤条件是组合分区的一级分区，而二级分区中的部分分区没有数据，则会导致报错。（3.00.1.2）
  • [D20-18272] 重启后定时任务中执行 writeLogLevel 函数报错。（3.00.1.2）
  • [D20-18312] 对 arrayVector 类型的列查询 distinct 导致 server 崩溃。（3.00.1.2）
  • [D20-18356] 在执行 ej 操作时，若 where 条件中不指定表名则无法查询数据。（3.00.1.2）
  • [D20-18204] CEP 引擎设置参数 dispatchKey 后，若传入无 dispatchKey 指定事件字段的事件报错。3.00.1.2）
  • [D20-18328] orderBookSnapshotEngine 在设置 useSystemTime = true 时偶现部分输出数据被遗漏。（3.00.1.2）
  • [D20-18423] 执行传入不合规参数的createWindowJoinEngine 函数后宕机。（3.00.1.2）
  • [D20-18122] 使用 move 函数时，若传入参数 X 是临时变量可能导致计算结果错误。（3.00.1.2）
  • [D20-18219] 多次执行 mpercentile 函数偶现宕机。（3.00.1.2）
  • [D20-18331] JIT 中使用 rank 函数时由于类型推导问题报错。（3.00.1.2）
  • [D20-18291] JIT 中使用 isort 函数时由于兼容性问题报错。（3.00.1.2）
  • qclp 函数计算目标函数时，返回非预期结果。
  • saveText 函数传入字符串对象引起宕机。
  • 同时使用 at 和 eachRight 或 eachLeft 时宕机。
  • 使用 loadText 加载文件太大（一行数据超过 2 GB）引起宕机。
  • 继承 class 时使用 dict 函数无法被识别。
  • 函数 getUserHardwareUsage 因内部计算错误导致参数设为日期时不生效。
  • 函数 getSlaveReplicationQueueStatus 返回值中的 executionSet 字段偶现随机值。
  • getQueryStatus 函数返回值中的 startTime 未进行时区转换。
  • loadText 函数将符合某些条件的字符串误识别为 DATE 类型，导致无法加载数据。
  • 将模块或插件中没有返回值的函数添加为functionView 失败。
  • ARM 环境中使用 OpenBLAS 进行多线程计算引发宕机。
  • 键值内存表更新 array vector 数据时，出现报错。
  • windows join 中指定聚合函数为 count(head()) 导致 server 崩溃。
  • SQL 语句同时满足以下条件：包含 group by 子句，from 子句为一个空表，select 子句中包含自定义变量时，会出现解析错误。
  • pj 连接时，若左右表按连接列排序，对于左表某行，只选取右表中的第一个连续匹配的行数据，导致结果中缺少数据。
  • 在 join 查询中，如果指定的连接列的列名与表中实际的列名大小写不一致，会导致执行计划未被优化。
  • WHERE 子句中 IN 的右值为内存表时，没有分区剪枝。