easyTLDataImport 通联历史数据自动化导入功能模块

语法

autoLoadTongLianData(fileDir, dataSource, dbName="dfs://TL_Level2", tableName=NULL, market="ALL", startDate=NULL, endDate=NULL, parallel=1, initialDB=false, initialTB=false)

参数

• fileDir 指定的存放数据的路径，该目录下必须有一层目录是形如 “20221201” 的日期。
• dataSource 数据源，只能 "TLSnapshot", "TLEntrust", "TLTrade" 三选一
• dbName 数据库名称，默认 "dfs://TL_Level2"
• tableName 分布式表名称，如果用户没有额外指定表名，则默认表名 "snapshot", "entrust", "trade"
• market 交易所，目前只能 "ALL", "SZ", "SH" 三选一。当 market="ALL" 时，会将沪深的数据全部导入一张名为 tableName 的分布式表；否则，会以分开存储的形式创建名为 tableName+market 的一张分布表（比如 "snapshotSZ"）并只导入 market 一个交易所的数据。
• startDate 字符串，导入数据的起始日期，比如 “20220101”(包括这一天)。若 startDate=NULL，则对起始日期不做判断。
• endDate 字符串，导入数据的结束日期，比如 “20221231”(包括这一天)。若 endDate=NULL，则对结束日期不做判断。
• parallel 并行度，控制后台提交的任务数目
• initialDB 一个布尔值，是否需要初始化数据库。如果已经存在名为 dbName 的数据库，当 initialDB=true 时，会删除原来的数据库并重新创建；否则会保留原来的数据库并输出 "[dbName] 数据库已经存在" 的提示
• initialTB 一个布尔值，是否需要初始化分布式表。如果在 dbName 数据库下已经存在名为 tbName 的表，当 initialTB=true 时，会删除原来的表并重新创建；否则会保留原来的表并输出 "数据库 [dbName] 已经存在表 [tbName]" 的提示。

详情

将 fileDir 路径下从 startDate 到 endDate 日期的 dataSource 数据导入 dbName 数据库中的 tableName 表里

语法

getJobStatus(jobid)

参数

jobid 后台任务描述

详情

查询后台任务中任务描述为 jobid 的任务状态

语法

getJobDetails(jobid)

参数

jobid 后台任务描述

详情

输出后台任务中任务描述为 jobid 的中间信息

通联数据的快照行情数据和最优买卖盘前 50 笔委托数据是两个分开的 csv 文件。为将二者结合，所以先将快照行情数据和最优买卖盘前 50 笔委托数据进行左连接后，再进行入库。

以沪深合并存储的方式导入深交所一天的快照数据为例，具体实现方案如下：

（1）将一天的单市场的快照行情数据和最优买卖盘前 50 笔委托数据的 csv 文件全部读入 DolphinDB 数据库中。此步骤中：

• 2023.02.16 的深交所快照数据 mdl_6_28_0.csv 共有 13,608,508 行 89 列，读入后占用内存约 7.1 GB；
• 最优卖价前 50 笔委托数据 mdl_6_28_1.csv 共有 13,608,508 行 62 列，读入后占用内存约 3.5 GB；
• 最优买价前 50 笔委托数据 mdl_6_28_2.csv 共有 13,611,993 行 62 列，读入后占用内存约 3.5 GB。

（2）将数据处理成沪深合并的表结构，包括将 10 档量价数据和 50 档委托数据合并组成 array vector，并将上交所有的字段但深交所没有的字段用空值 NULL 填充。此步骤中：

• array vector + 填充 NULL 值后的快照表总共 13,608,508 行 60 列，占用内存约 8.7 GB；
• 最优卖价前 50 笔委托总共 13,608,508 行 4 列，读入后占用内存约 2.8 GB；
• 最优买价前 50 笔委托总共 13,611,993 行 4 列，占用内存约 2.8 GB）

（3）根据 TradeTime / SecurityID / ImageStatus 三个字段对数据进行去重。此步骤中：

• 去重后的快照表总共 13,608,508 行 60 列，占用内存约 8.7 GB；
• 最优卖价前 50 笔委托总共 13,608,508 行 4 列，读入后占用内存约 2.8 GB；
• 最优卖价前 50 笔委托总共 13,611,993 行 4 列，占用内存约 2.8 GB）

（4）根据 TradeTime / SecurityID / ImageStatus 三个字段将买卖的 50 档数据进行左连接。此步骤中：

• 连接后的买卖 50 档委托表总共 13,608,508 行 5 列，占用内存约 5.4 GB。
• 将数据根据股票代码 SecurityID 的哈希值分成 50 份，每一份分别和最优买卖盘前 50 笔委托数据进行左连接，将连接后的数据直接加入数据库。该任务通过 ploop 实现并发执行。此步骤中：
  • 根据 hashBucket(SecurityID, 50) 算出哈希值，在快照数据中取出对应哈希值的数据。比如哈希值为 40 的快照数据共 343,461 行 60 列，占用内存约 225 MB；
  • 最优买卖盘前 50 笔委托数据共 343,461 行 5 列，占用内存约 144 MB；
  • 左连接后结果表共 343,461 行 62 列，占用内存约 364 MB，直接向库内 append 这部分数据）

（5）深交所和上交所串行导入，先完成深交所一天数据的导入，再按上述流程导入上交所一天的快照数据。

注意：因为快照数据的导入需要读入整个 csv，再内存里并发进行 join 和写入操作，所以内存消耗较高。

经测试，单并发导入快照数据占用内存资源约：53 GB

为了实现数据去重的目的，会将一个市场一天的逐笔委托数据全部读入内存，进行去重后，再进行入库。

以沪深合并存储的方式导入深交所一天的逐笔委托为例，具体实现方案如下：

（1）将一天的单市场的逐笔委托的 csv 文件全部读入 DolphinDB 数据库中。此步骤中：

• 2023.02.16 的深交所逐笔委托数据 mdl_6_33_0.csv 共有 99,798,969 行 12 列，读入后占用内存约 5.7 GB。

（2）将逐笔成交数据处理成沪深合并的表结构，包括将上交所有的字段但深交所没有的字段用空值 NULL 填充和根据 ChannelNo , ApplSeqNum 两个字段进行去重。此步骤中：

• 填充 NULL 值 + 去重后的逐笔委托表总共 99,798,969 行 16 列，占用内存约 13.1 GB。

（3）将处理完的深交所逐笔委托数据导入数据库。

• 深交所和上交所串行导入，先导完一天深交所，再按上述流程导入一天上交所快照数据。

模块中的数据库采用 TSDB 存储引擎，其写入策略是：

• 数据先写入 Cache Engine，在 Cache Engine 内进行分区。
• 按照 sortColumns 进行排序。
• 当写入的数据达到 TSDBCacheEngineSize 时，进行刷盘。此时：
  • 若有数据继续写入，系统会再分配一块内存来接收新数据；
  • 若不满足该条件， 超过十分钟会强制刷盘。

所以使用 TSDB 引擎导入大量数据的时候，使用 LevelFileIndexCache，TSDBCacheEngine，异步排序，后台的 flush 等环节都会造成内存使用的增加。

注意：为了能够按照 ChannelNo, ApplSeqNum 这两个字段对数据进行去重，需要读入整个 csv 读入内存，使用 TSDB 引擎持续导入大量数据。所以导入时内存消耗较高。

经测试，单并发导入逐笔委托数据占用内存资源约：55 GB

为了实现数据去重的目的，会将一个市场一天的逐笔成交数据全部读入内存，进行去重后，再进行入库。

以沪深合并存储的方式导入深交所一天的逐笔成交为例，具体实现方案如下：

（1）将一天的单市场的逐笔成交的 csv 文件全部读入 DolphinDB 数据库中。此步骤中：

• 2023.02.16 的深交所逐笔成交数据 mdl_6_36_0.csv 共有 91,230,221 行 13 列，读入后占用内存约 6.4 GB。

（2）将逐笔成交数据处理成沪深合并的表结构，包括将上交所有的字段但深交所没有的字段用空值 NULL 填充和根据 ChannelNo , ApplSeqNum 两个字段进行去重。此步骤中：

• 填充 NULL 值 + 去重后的逐笔委托表总共 91,230,221 行 19 列，占用内存约 15.7 GB。

（3）将处理完的深交所逐笔委托数据导入数据库。

• 深交所和上交所串行导入，先导完一天深交所，再按上述流程导入一天上交所快照数据。

注意：为了能够按照 ChannelNo, ApplSeqNum 这两个字段对数据进行去重，需要读入整个 csv 读入内存，使用 TSDB 引擎持续导入大量数据。所以导入时内存消耗较高。

经测试，单并发导入逐笔成交数据占用内存资源约：58 GB

综上，控制并发的参数 parallel 需要根据实际的内存情况设置。**建议配置 maxMemSize 至少为 64 GB，**这超过了社区版 License 内存的限制，可以前往 DolphinDB 官网申请企业版试用授权许可。