ExchData 交易所历史股票数据自动化导入功能模块使用教程

ExchData 模块主要包含预加载数据表结构、创建数据库及分区表、导入数据三部分。

在使用本功能模块时，需要准备解压缩后的历史股票数据文件（未解压缩的文件结构见附件），并确保在主目录下创建了对应的文件目录，不同时间段下（见第二章不同数据源的文件说明）的文件结构如下,假设最上层文件夹为 Data 文件夹，Data 文件夹下存放对应上交所（SH）、深交所（SZ）的交易所股票行情原始数据。

Data
└──SH
|   ├── 2015
|   │   └── 20150105
|   │      ├── Entrust.csv
|   │      ├── Snapshot.csv
|   │      └── Tick.csv
|   |      ……    
|   ├── 2020
|   │   └── 20200104
|   │      ├── Entrust.csv
|   │      ├── Snapshot.csv
|   │      └── Tick.csv
|   |      ……    
|   └── 2023
|      └── 20231205
|         ├── Snapshot.csv
|         └── StockTick.csv
|         ……    
└──SZ
    ├── 2016
    │   └── 0506
    │   │   ├── SZL2_ORDER_20160506.TXT
    │   │   ├── SZL2_SNAPSHOT_20160506.TXT
    │   │   ├── SZL2_SNAPSHOTDW_20160506.TXT
    │   │   └── SZL2_TRADE_20160506.TXT
    │   └── 0509
    │       ├── am_hq_order_spot.txt
    │       ├── am_hq_snap_spot.txt
    │       ├── am_hq_trade_spot.txt      
    │       ├── am_snap_level_spot.txt
    │       ├── pm_hq_order_spot.txt
    │       └── pm_hq_trade_spot.txt
    |      ……  

ExchData 模块将两个交易所的数据合并为一张表，其中表中的字段是两个交易所数据字段的并集，并新增字段 Market 为分区列用于标识数据来自哪个交易所。

上交所和深交所两个交易所数据的结构不同，且不同时期同一个交易所的数据结构也不同。根据《深圳证券信息有限公司高频增强行情数据服务》和《上海证券交易所历史股票数据接口说明书》，我们整理了两个交易所提供的各个时期的数据结构，最终确定以下述的表结构将数据存入数据库。

• 第一步：用户按照第 2 章文件结构中准备好数据。假设数据放在 /home/wwluo/data/stockData 目录下，文件结构如下图：

  
  图 4-1 文件结构示例 ​

• 第二步： 将模块同步至 DolphinDB的 getHomeDir()+/modules 的目录下 ​
  图 4-2 更新模块示例

• 第三步：载入模块和导入数据方法如下，其中为了数据完整性以及避免执行 shell 函数引入安全问题，推荐基于本模块（见附录中的 ExchData.zip 文件）直接导入全量数据，若需要解压缩、分段导入，则分别需要指定tmpPath、rowCount等参数。

  use ExchData::ExchData
  go;
  
  // 导入逐笔成交数据 day=2021.04.26
  startDate,endDate = 2021.04.26,2021.04.26
  dbName = "dfs://TSDB_level2"
  tbName = "trade"
  dataType = "trade"
  filePath = "/home/wwluo/data/stockData/"  
  tmpPath = "/home/wwluo/tmp/ALL/" 
  // 沪深交易所一起导入
  market="ALL"
  // 手动解压后导入数据；如需要自动解压缩需要指定tmpPath路径
  tmpPath = NULL
  // 全量导入数据；如需要指定分段导入，指定大于0的rowCount即可
  rowCount = 0
  jobId1 = submitJob("loadTradeData","loadTradeData",
      ExchData{dbName,tbName,filePath,startDate,endDate,dataType,market,tmpPath,rowCount,false,false})
  getJobStatus(jobId1)
  print getJobMessage(jobId1)
  
  // 导入逐笔委托数据
  dbName = "dfs://TSDB_level2"
  tbName = "order"
  dataType = "order"
  startDate,endDate = 2021.04.26,2021.04.26
  filePath = "/home/wwluo/data/stockData/"  
  tmpPath = "/home/wwluo/tmp/ALL/" 
  // 沪深交易所一起导入
  market="ALL"
  // 手动解压后导入数据；如需要自动解压缩需要指定tmpPath路径
  tmpPath = NULL
  // 全量导入数据；如需要指定分段导入，指定大于0的rowCount即可
  rowCount = 0
  jobId2 = submitJob("loadOrderData","loadOrderData",
      ExchData{dbName,tbName,filePath,startDate,endDate,dataType,market,tmpPath,rowCount,false,false})
  print getJobMessage(jobId2)
  
  // 导入快照数据
  dbName = "dfs://TSDB_level2"
  tbName = "snapshot"
  dataType = "snapshot"
  startDate,endDate = 2021.04.26,2021.04.26
  filePath = "/home/wwluo/data/stockData/"  
  // 沪深交易所一起导入
  market="ALL"
  // 手动解压后导入数据；如需要自动解压缩需要指定tmpPath路径
  tmpPath = NULL
  // 全量导入数据；如需要指定分段导入，指定大于0的rowCount即可
  rowCount = 0
  jobId3 = submitJob("loadSnapshotData","loadSnapshotData",
      ExchData{dbName,tbName,filePath,startDate,endDate,dataType,market,tmpPath,rowCount,false,false})
  print getJobMessage(jobId3)
  
  // 导入逐笔合并数据
  startDate,endDate = 2024.01.22,2024.01.22
  dbName = "dfs://TSDB_level2"
  tbNames = ["trade","order"]
  dataTypes = ["trade","order"]
  filePath = "/home/wwluo/data/stockData/"  
  tmpPath = "/home/wwluo/tmp/ALL/" 
  // 只导入上交所数据
  market="ALL"
  // 手动解压后导入数据；如需要自动解压缩需要指定tmpPath路径
  tmpPath = NULL
  // 全量导入数据；如需要指定分段导入，指定大于0的rowCount即可
  rowCount = 0
  jobId4 = submitJob("loadSHTradeOrderData","loadSHTradeOrderData",
      ExchData{dbName,tbNames,filePath,startDate,endDate,dataTypes,market,tmpPath,rowCount,false,false})
  print getJobMessage(jobId4)

• 第四步：查询任务状态

  （1）使用 getJobStatus(jobId) 可以查询任务状态，当 endTime 有值的时候表示任务结束。例如： ​
  图 4-3 getJobStatus 示例 ​

  （2）使用 getJobMessage(jobId) 可以查询任务中间信息，例如： ​
  ​图 4-4 getJobMessage 示例

  （3）可以通过查询日志内容，查看任务执行结果。例如：

  cat dolphindb.log | grep message

  ​

  
  图 4-5 log 示例

• 第五步：查询数据 (1)快照数据

  select * from loadTable("dfs://TL_Level-2", "snapshot") limit 10

  
  图 4-6 快照数据预览 ​

  (2)逐笔委托

  select * from loadTable("dfs://TL_Level-2", "snapshot") limit 10

  
  图 4-7 逐笔委托预览

  (3)逐笔成交

  select * from loadTable("dfs://TL_Level-2", "snapshot") limit 10

  
  图 4-8 逐笔成交预览

在处理和分析交易所的 Level-2 历史行情数据时，针对原始数据的数据校验是一个至关重要的步骤。基于本模块的数据校验功能，可以监测交易所的 Level-2 历史行情数据是否存在数据遗漏、数据异常。

导入交易所的 Level-2 历史行情数据过程可拆分为如下步骤，其中每一步均可能存在异常，如下表所示。

1. 创建库表：第一次运行时创建数据库表；若已存在本地库表，会与模块中库表的表结构做对比
2. 解压缩：若导入深交所行情文件，若文件未解压缩，需要先将文件解压缩
3. 加载 CSV：检查行情文件是否存在；若存在，检查文件的表结构与模块中预先指定的表结构的列数是否一致
4. 数据导入：基于预先指定的表结构导入对应行情文件
5. 数据校验：导入完成以后，进行数据校验

1. 导入数据时，请确保数据源文件路径正确，否则会导致导入失败。极端情况下，可能存在数据源文件未完全同步完，导致数据导入异常
2. 由于分段导入非强事务操作，因此内存充足情况下，不建议使用本模块分块导入数据；若部署的 DolphinDB 服务内存不足，一次性写入的沪深交易所数据量超过了 maxMemSize 大小，建议导入数据时设置较小的 rowCount 以确保能正常导入数据
3. 由于本模块是基于 shell 函数执行服务器解压缩 shell 命令，该过程会存在安全问题的风险，因此不建议直接基于本模块去解压缩以导入深交所数据；若需要基于本模块解压缩深交所源文件，需要提前配置enableShellFunction=true
4. 若服务器为 ARM 版本，解压深交所文件时调用的 shell 命令需要指定 7zz 命令的绝对路径，7zz 解压时需要替换 ExchData 模块下的 prepare.dos 文件的 7zz 命令，需要替换 prepare.dos 的 unzipFile 中为实际使用的 7zz 命令路径（例如，/usr/local/bin/7zz x …… -o…… -y）
5. 导入深交所文件时，需要注意解压的文件是否存在分卷解压的情况，若存在需要确保各卷文件未存在数据缺失，导致解压失败

DolphinDB ExchData 模块为用户导入和处理沪深交易所 Level-2 行情数据提供了一套完整的解决方案， 本文介绍了模块的功能、行情文件结构及表结构、使用示例、数据校验等方面。用户基于本模块自动化的流程以及完整的校验机制，可以提高 Level-2 行情数据导入的效率以及数据完整性。

• ExchData 导入模块
• 未压缩的文件结构：

SH
├── 2015
│   └── 20150105
│      ├── Entrust.csv
│      ├── Snapshot.csv
│      └── Tick.csv
|      ……    
├── 2020
│   └── 20200104
│      ├── Entrust.csv
│      ├── Snapshot.csv
│      └── Tick.csv
|      ……    
└── 2023
│   └── 20231205
│      ├── Snapshot.csv
│      └── StockTick.csv
|      ……    
SZ
├── 2016
│   ├── 0506
│   │   ├── SZL2_ORDER_20160506.7z.001
│   │   ├── SZL2_SNAPSHOT_20160506.7z.001
│   │   ├── SZL2_SNAPSHOTDW_20160506.7z.001
│   │   └── SZL2_TRADE_20160506.7z.001
│   └── 0509
│       ├── am_hq_order_spot.7z.001
│       ├── am_hq_snap_spot.7z.001
│       ├── am_hq_trade_spot.7z.001
│       ├── am_snap_level_spot.7z.001
│       ├── pm_hq_order_spot.7z.001
│       ├── pm_hq_snap_spot.7z.001
│       ├── pm_hq_trade_spot.7z.001
│       └── pm_snap_level_spot.7z.001
|      ……