3.00.1
注: 同时建议阅读兼容性说明。
版本下载
版本号:3.00.1 二级兼容 2.00.12 和 3.00.0
发行日期: 2024-06-30
下载地址:
新功能
- 函数
mcount
、mrank
新增参数 minPeriods,可规定滑动窗口中最少包含的观测值数据。(3.00.1.2) - 新增函数
hmac
,实现 HMAC(Hash-based Message Authentication Code)算法。(3.00.1.2) genOutputColumnsForOBSnapshotEngine
新增参数 seqDetail,用于指定输出序列号明细字段。同时createOrderBookSnapshotEngine
支持输出序列号明细字段。(3.00.1.2)- 新增函数
updateOrderBookEngineParams
,用于在线设置 orderbookSnapshotEngine 的部分参数(通常是静态字段)值。(3.00.1.2) - 新增函数
vectorNorm
,用于计算矩阵/向量的范数。(3.00.1.2) - 新增配置项 queryLogRetentionTime,用于设置节点查询日志文件的保留时间。(3.00.1.2)
- 新增
remoteRunCompatible
函数,功能与remoteRun
相同。差别是此新增函数不对本地和远程数据库的版本进行验证。 scheduleJob
新增参数 priority 和 parallelism,用于设置定时任务的优先级和并行度。saveText
新增参数 bom,可以在导出文件时指定是否输出 bom 头。- 新增
fminLBFGSB
函数,支持使用 L-BFGS-B 算法找到目标函数的最小值。 - 新增
fminNCG
函数,支持使用牛顿共轭梯度法对目标函数进行无约束最小化。 - 新增
fminBFGS
函数,支持使用 BFGS 算法找到目标函数的最小值。 - 新增
fminSLSQP
函数,支持使用顺序最小二乘编程方法找到目标函数的最小值。 - 新增
piecewiseLinFit
和pwlfPredict
函数,用于拟合分段线性回归函数和根据回归模型对数据进行预测。 - 新增
brute
函数,用于通过穷举法在给定范围内最小化一个函数。 - 新增
gaussianKde
和gaussianKdePredict
函数,用于使用核密度估计方法中的高斯核来估计随机变量的概率密度,和根据回归模型对数据进行预测。 - 新增
vectorAR
函数,用于使用向量自回归模型来分析多变量时间序列。 - 新增
eqPercent
函数,用于根据自定义约束条件,判断两个输入参数的每个对应位置上的元素是否都相等。 - 新增配置项 batchJobFileRetentionTime,用于设置批处理作业和定时任务执行后输出信息的最长保留时间。
- 新增配置项 resourceSamplingLogDir,用于设置资源跟踪日志的存储路径。
- 支持三元运算符(? :)。
- 新增 tensor 数据类型,可与 DolphinDB 插件配合使用,实现与深度学习框架之间的数据交换和处理。
- 新增配置项 enableRDMA,用于开启 RDMA 全新通讯架构。
- 新增配置项 allowTSDBLevel3Compaction,用于设置是否启用 level 3 层级的 Level File
的合并。同时,
triggerTSDBCompaction
函数新增参数 level, 用于指定触发哪一层级的 Level File 合并。 - 新增配置项 jobLogRetentionTime, 用于设置数据节点上查询信息日志的最长保留时间。
createPartitionedTable
新增参数 indexes,支持位列指定索引,以实现向量检索功能。- 新增
removeNode
函数,以支持动态删除计算节点。同时支持通过addNode
一次添加多个节点。 - 支持 chimp 压缩算法。
database
的 engine 参数新增选项 “PKEY”,支持创建主键存储引擎,同时createPartitionedTable
新增参数 primaryKey,用于指定表的主键列。- 新增函数
setTableComment
,用于为分布式表添加表注释。同时 create 语句新增参数 comment,可在创建分布式表时添加表注释。 - 新增配置项 TSDBSymbolBaseEvictTime 和
TSDBCachedSymbolBaseCapacity,可以根据缓存时间或缓存容量来决定何时逐出未被使用的 symbolBase
数据。同时新增函数
clearAllTSDBSymbolBaseCache
,用于清除缓存中所有未被使用的 symbolBase。 createPartitionedTable
函数和create
语句的 partitionColumns 参数支持为数据列指定函数,进而将函数的结果作为分区的依据。- SQL DELETE 语句和 sqlDelete 函数支持通过 join 来指定删除行。
- 新增函数 setTableComment,用于为分布式表添加注释。同时 create 语句中新增参数 comment。
- 新增配置项
memLimitOfAllTempResults,用于设置分布式查询操作中产生的所有临时表可以占用的内存上限。同时新增了与其对应的函数
setMemLimitOfAllTempResults
和getMemLimitOfAllTempResults
分别用于动态设置和获取配置项。 - 新增配置项 enableInsertStatementForDFSTable,用于设置是否允许 insert into 语句插入 DFS 表。
- insert into 支持插入多行数据。
功能优化
- 优化登录失败保护机制,即仅在登录失败的 IP 地址上锁定用户登录。(3.00.1.2)
- 若 TSDB 引擎的去重设置为保留所有数据,则通过
upsert!
更新数据时,支持 keyColNames 仅指定 sortColumns 的部分列。(3.00.1.2) backup
等相关操作支持记录 tableOwner 信息。同时restore
等相关操作支持恢复 databaseOwner 和 tableOwner 信息。(3.00.1.2)- 优化 orderbookSnapshotEngine 的以下功能:
- 优化合成逻辑,已停牌的标的数据将不会合成输出。(3.00.1.2)
增强权限管理等功能,以提高系统安全性。(3.00.1.1)
- 优化
interval
函数的以下功能:- duration 参数支持交易日历。
- 当参数 duration 和 step 长度不同时, 在对非分区表的查询中可以对查询列应用自定义聚合函数。
flatten
函数支持元组嵌套。logisticRegression
函数精度与 SKLearn 中相应函数对齐。- 提高函数
std
,stdp
,var
,varp
,skew
,kurtosis
的精度。 - 高阶函数
moving
的参数 func 支持返回 tuple 的函数。 addMetrics
新增支持 fill 参数,可以指定对空值处理方法。parseJsonTable
函数支持传入的表中包含 BLOB 类型的列。isDuplicated
函数支持 BLOB 类型。fmin
函数优化输入参数。rowAlign
函数支持列式元组。rolling
函数支持显示行标签。- 元编程中的列别名支持使用宏变量。
registerSnapshotEngine
函数新增参数 dedupColumnName,以支持在集群中所有数据节点上为分布式表注册快照引擎。- 模式符号可以搭配系统内置,作为一个运算符。
restore
函数的 snapshot 参数的默认值由 true 修改为 false。- 异步复制中从集群中不再需要通过clusterReplicationExecutionPassword 配置密码,以提高安全性。
- 提升 TSDB redolog 回放性能。
version
函数支持返回更多版本信息。clearAllCache
新增支持清理 TSDB 引擎相关的缓存。- TSDB 数据写入时可以压缩空值列。
createSchema
不支持将数据库同时加到两个 catalog 中。- 优化订单簿引擎的以下功能:
- 报错日志等级修改为 WARNING。
createOrderBookSnapshotEngine
新增参数 useSystemTime,支持使用系统时间来触发快照输出。
- 优化响应式状态引擎的以下功能:
- 支持对 array vector 列使用
prev
函数。 - 优化报错信息。
- 新增支持 35 个 topN 状态函数。
- keyColumn 由必填参数修改为可选参数。
- 自定义状态函数中赋值语句的右值支持返回多个值的自定义函数。
- 支持对 array vector 列使用
createLookupJoinEngine
的参数 rightTable 支持指定为元代码。- 如下流计算引擎的 metrics 支持指定为常数标量或向量:
createReactiveStateEngine
,createAsofJoinEngine
,createLookupJoinEngine
,createEquiJoinEngine
,createLeftSemiJoinEngine
。 enableTablePersistence
和enableTableShareAndPersistence
函数新增参数 cachepurgeTimeColumn, cachePurgeInterval, cacheRetentionTime,用于设置持久化流表在内存中的数据清理策略。createTimeSeriesEngine
和createDailyTimeSeriesEngine
的 acceptedDelay 参数支持根据数据时间来设置关闭窗口的延时。- 如下流计算引擎新增支持 outputHandler, msgAsTable
参数,支持输出结果到一个一元函数:
createTimeSeriesEngine
,createDailyTimeSeriesEngine
,createReactiveStateEngine
,createDualOwnershipReactiveStateEngine
,createNarrowReactiveStateEngine
。 - 优化 SQL JOIN 的以下功能:
- INNER JOIN 和 LEFT JOIN 支持生成 IN 谓词的 动态过滤条件(Runtime Filter),以提升查询性能。
- 提升对分区字段进行过滤,同时搭配 LIMIT 字段时的查询性能。
- CASE WHEN 语句支持分析函数 OVER(PARTITION BY xxx)。
- 优化 JIT 高阶函数
accumulate
和reduce
。 - JIT 支持处理索引矩阵。
故障修复
- [D20-18152] 某个最大优先级或并行度小于默认值的用户通过 Web 或 VS Code 提交前台任务,该任务的优先级或并行度仍为默认值。(3.00.1.2)
- [D20-18162] 审计日志中 APPEND 操作的开始日期记录错误。(3.00.1.2)
- [D20-18195] 上传加密模块可能导致当前会话中的变量丢失。(3.00.1.2)
- [D20-18245] 执行
backup
函数时,如果过滤条件是组合分区的一级分区,而二级分区中的部分分区没有数据,则会导致报错。(3.00.1.2) - [D20-18272] 重启后定时任务中执行
writeLogLevel
函数报错。(3.00.1.2) - [D20-18312] 对 arrayVector 类型的列查询 distinct 导致 server 崩溃。(3.00.1.2)
- [D20-18356] 在执行 ej 操作时,若 where 条件中不指定表名则无法查询数据。(3.00.1.2)
- [D20-18204] CEP 引擎设置参数 dispatchKey 后,若传入无 dispatchKey 指定事件字段的事件报错。3.00.1.2)
- [D20-18328] orderBookSnapshotEngine 在设置 useSystemTime = true 时偶现部分输出数据被遗漏。(3.00.1.2)
- [D20-18423] 执行传入不合规参数的
createWindowJoinEngine
函数后宕机。(3.00.1.2) - [D20-18122] 使用
move
函数时,若传入参数 X 是临时变量可能导致计算结果错误。(3.00.1.2) - [D20-18219] 多次执行
mpercentile
函数偶现宕机。(3.00.1.2) - [D20-18331] JIT 中使用
rank
函数时由于类型推导问题报错。(3.00.1.2) - [D20-18291] JIT 中使用
isort
函数时由于兼容性问题报错。(3.00.1.2) qclp
函数计算目标函数时,返回非预期结果。saveText
函数传入字符串对象引起宕机。- 同时使用
at
和eachRight
或eachLeft
时宕机。 - 使用
loadText
加载文件太大(一行数据超过 2 GB)引起宕机。 - 继承 class 时使用
dict
函数无法被识别。 - 函数
getUserHardwareUsage
因内部计算错误导致参数设为日期时不生效。 - 函数
getSlaveReplicationQueueStatus
返回值中的 executionSet 字段偶现随机值。 getQueryStatus
函数返回值中的 startTime 未进行时区转换。loadText
函数将符合某些条件的字符串误识别为 DATE 类型,导致无法加载数据。- 将模块或插件中没有返回值的函数添加为functionView 失败。
- ARM 环境中使用 OpenBLAS 进行多线程计算引发宕机。
- 键值内存表更新 array vector 数据时,出现报错。
- windows join 中指定聚合函数为
count(head())
导致 server 崩溃。 - SQL 语句同时满足以下条件:包含 group by 子句,from 子句为一个空表,select 子句中包含自定义变量时,会出现解析错误。
- pj 连接时,若左右表按连接列排序,对于左表某行,只选取右表中的第一个连续匹配的行数据,导致结果中缺少数据。
- 在 join 查询中,如果指定的连接列的列名与表中实际的列名大小写不一致,会导致执行计划未被优化。
- WHERE 子句中 IN 的右值为内存表时,没有分区剪枝。