金融实时实际波动率预测

本教程用到的字段为 Snapshot 中的部分字段，包括：股票代码、快照时间、申买十价、申买十量、申卖十价、申卖十量。

样本为 2020 年上证 50 指数的成分股：

• 股票代码

  601318,600519,600036,600276,601166,600030,600887,600016,601328,601288,
  600000,600585,601398,600031,601668,600048,601888,600837,601601,601012,
  603259,601688,600309,601988,601211,600009,600104,600690,601818,600703,
  600028,601088,600050,601628,601857,601186,600547,601989,601336,600196,
  603993,601138,601066,601236,601319,603160,600588,601816,601658,600745

• 股票名称

  中国平安、贵州茅台、招商银行、恒瑞医药、兴业银行、中信证券、伊利股份、民生银行、交通银行、农业银行、
  浦发银行、海螺水泥、工商银行、三一重工、中国建筑、保利地产、中国中免、海通证券、中国太保、隆基股份、
  药明康德、华泰证券、万华化学、中国银行、国泰君安、上海机场、上汽集团、海尔智家、光大银行、三安光电、
  中国石化、中国神华、中国联通、中国人寿、中国石油、中国铁建、山东黄金、中国重工、新华保险、复星医药、
  洛阳钼业、工业富联、中信建投、红塔证券、中国人保、汇顶科技、用友网络、京沪高铁、邮储银行、闻泰科技

Bid Ask Spread(BAS)：用于衡量买单价和卖单价的价差

Weighted Averaged Price(WAP)：加权平均价格

Depth Imbalance(DI)：深度不平衡

Press：买卖压力指标

特征数据重采样（10min 窗口，并聚合计算实际波动率）

重采样利用 group by SecurityID, interval(TradeTime, 10m, "none") 方法

Realized Volatility(RV)：实际波动率定义为对数收益率的标准差

股票的价格始终是处于买单价和卖单价之间，因此本项目用加权平均价格来代替股价进行计算

由于日常用法为年化的股票波动率，因此需要对其进行年化，得到年化实际波动率

使用的数据频率是 snapshot 级别，其年化方法需要将标准差乘以全年的 snapshot 数的平方根。

本项目中没有设置验证集，训练集测试集划分：train:test = 172029:73726

login("admin", "123456")
dbName = "dfs://sz50VolatilityDataSet"
tbName = "sz50VolatilityDataSet"
dataset = select * from loadTable(dbName, tbName) where date(TradeTime) between 2020.01.01 : 2020.12.31
def trainTestSplit(x, testRatio) {
 xSize = x.size()
 testSize =(xSize * (1-testRatio))$INT
 return x[0: testSize], x[testSize:xSize]
}
Train, Test = trainTestSplit(dataset, 0.3)

def RMSPE(a,b)
{
 return sqrt(sum(((a-b)\a)*((a-b)\a))\a.size())
}
model = adaBoostRegressor(sqlDS(<select * from Train>), yColName=`targetRV, xColNames=`BAS`DI0`DI1`DI2`DI3`DI4`Press`RV, numTrees=30, maxDepth=16, loss=`square)
predicted = model.predict(Test)
Test[`predict]=predicted
print("RMSPE="+RMSPE(Test.targetRV,predicted))

运行结果：

RMSPE=1.701
模型训练耗时：25s

调参记录表

回归模型预测性能

通过如上统计可以得出数据量越大，利用 DolphinDB 进行数据处理及模型预测的优势越明显，在实时流处理场景中，可以在短时间内得到计算结果。

将 Test 表随机选择一支股票，展示 2020.10.19 到 2020.10.23 期间波动率预测情况。

stock_id=(select distinct(SecurityID) from Test)[rand(50,1)[0]].distinct_SecurityID
plot((select  targetRV,predict from Test where SecurityID=stock_id, date(TradeTime) between 2020.10.19 : 2020.10.23), title="The realized volatility of"+stock_id,extras={multiYAxes: false})

注：

• 红色线条为真实值
• 蓝色线条为预测值

复星医药 [600196] 部分实际波动率预测结果

三安光电 [600703] 部分实际波动率预测结果

第一个订阅：实时获取 snapshotStream 表中的数据，利用 DolphinDB 内置时序聚合计算引擎，进行窗口为 10 分钟，步长为 1 分钟的滑动窗口计算，核心代码为：

• 注册时间序列聚合计算引擎

  createTimeSeriesEngine(name="aggrFeatures10min", windowSize=600000, step=60000, metrics=metrics, dummyTable=snapshotStream, outputTable=aggrFeatures10min, timeColumn=`TradeTime, useWindowStartTime=true, keyColumn=`SecurityID)

• 订阅 snapshotStream 流数据表中的实时增量数据

  subscribeTable(tableName="snapshotStream", actionName="aggrFeatures10min", offset=-1, handler=getStreamEngine("aggrFeatures10min"), msgAsTable=true, batchSize=2000, throttle=1, hash=0, reconnect=true)

第二个订阅：实时获取处理完的 aggrFeatures10min 表中的特征数据，利用已训练好的模型进行波动率预测，并将最终结果写入 result1min 表中，核心代码为：

def predictRV(mutable result1min, model, msg){
 startTime = now()
 predicted = model.predict(msg)
 temp = select TradeTime, SecurityID, predicted as PredictRV, (now()-startTime) as CostTime from msg
 result1min.append!(temp)
}
subscribeTable(tableName="aggrFeatures10min", actionName="predictRV", offset=-1, handler=predictRV{result1min, model}, msgAsTable=true, hash=1, reconnect=true)

第三个订阅：实时将计算结果表 result1min 中的数据推送给外部消费者消费。

流计算代码 - OLAP-Matrix

流计算代码 - TSDB-ArrayVector

为了方便用户快速复现实时波动率预测的演示，本教程提供了模型、数据及快速复现流处理代码。下载相关文件后解压缩，将模型和数据文件存储在 DolphinDB 服务端，然后修改代码中的相关路径参数，就可以快速复现上述流处理过程。

• 训练好的模型（请根据实际 server 版本进行选择）：

  • v1.30.18：realizedVolatilityModel_1.30.18.bin
  • v2.00.6：realizedVolatilityModel_2.00.6.bin

• snapshot 数据（testSnapshot.csv)：2020 年 10 月 19 日 601319, 600519 两只股票共 9507 条数据

• 快速复现流处理代码

  快速复现流处理代码中需要修改模型文件和数据文件的路径

  /**
  modified location 1: modelSavePath, csvDataPath
  */
  modelSavePath = "/hdd/hdd9/machineLearning/realizedVolatilityModel_1.30.18.bin"
  //modelSavePath = "/hdd/hdd9/machineLearning/realizedVolatilityModel_2.00.6.bin"
  csvDataPath = "/hdd/hdd9/machineLearning/testSnapshot.csv"

Grafana 中的 Query 代码：

select gmtime(TradeTime), PredictRV from result1min where SecurityID=`600519

注意：因为 Grafana 和 DolphinDB server 的时间存在 8 个小时时区的差异，所以 Grafana 中的 Query 需要用到 gmtime 函数进行时区的转换。

在上证 50 成分股实时预测波动率的实际应用场景中，快照数据的产生频率约为每分钟 1000 条记录，可以对结果表 result1min 执行下述语句进行延时统计：

select avg(CostTime) as avgCostTime, min(CostTime) as minCostTime, max(CostTime) as maxCostTime from result1min

查询结果：

• 数据预处理代码 - OLAP

• 数据预处理代码 - TSDB

• 模型构建和训练代码

• 流计算代码 - OLAP-Matrix

• 流计算代码 - TSDB-ArrayVector

• 快速复现流处理代码

• 快速复现流处理模型 V1.30.18

• 快速复现流处理模型 V2.00.6

快速复现测试流处理 snapshot 数据

• CPU 类型：Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz
• 逻辑 CPU 总数：8
• 内存：64GB
• OS：64 位 CentOS Linux 7 (Core)
• 磁盘：SSD 盘，最大读写速率为 520MB/s
• Server 版本：1.30.18, 2.00.6
• Server 部署模式：单节点
• 1.30 配置文件：dolphindb.cfg（volumes, persistenceDir 需要根据实际环境磁盘路径修改）
• 2.00 配置文件：dolphindb.cfg（volumes, persistenceDir, TSDBRedoLogDir 需要根据实际环境磁盘路径修改）
• 单节点部署教程：单节点部署