N 对 1 多表回放
N 对 1 多表回放包含同构回放和异构回放两种模式:
-
2.00.5 版本前,N 对 1 回放要求输入表结构必须相同,称为同构回放
-
自 2.00.5 版本起,N 对 1 回放开始支持输入结构不同的表,称为异构回放。
本文档介绍 N 对 1 多表回放的两种模式使用方法。
多表回放功能主要由 replay
函数提供。其语法如下:
replay(inputTables, outputTables, [dateColumn], [timeColumn], [replayRate], [absoluteRate=true], [parallelLevel=1], [sortColumns])
其参数的详细含义可以参考:replay 函数。
应用例子 1
按不同回放模式进行回放:
-
模拟回放使用的输入表和输出表:
//创建输入表1并写入模拟数据 n = 1000 sym = take(`IBM`GS,n) myDate = take(2021.01.02..2021.01.06, n).sort!() myTime = take(13:00:00..16:59:59,n) vol = array(INT[], 0, 10) for(i in 0:n){vol.append!([rand(100,3)])} t1 = table(sym,myDate,myTime,vol).sortBy!([`myDate, `myTime]) //创建输入表2并写入模拟数据 sym = take(`IBM`GS,n) date = take(2021.01.02..2021.01.06, n).sort!() time = take(13:00:00..16:59:59,n) vol = array(INT[], 0, 10) for(i in 0:n){vol.append!([rand(100,3)])} price = array(DOUBLE[], 0, 10) for(i in 0:n){price.append!([rand(10.0,3)])} t2 = table(sym, date,time,vol,price).sortBy!([`date, `time]) //创建输出表 share streamTable(100:0,`timestamp`sym`blob`vol, [DATETIME,SYMBOL, BLOB, INT[]]) as opt //输入表和表对象的映射字典 input_dict = dict(["msg1", "msg2"], [t1, t2])
以下是输入表 t1和 t2 的结构以及数据预览
t1.schema().colDefs
name
typeString
typeInt
sym STRING 18 myDate DATE 6 myTime SECOND 10 vol INT[] 68 select * from t1 limit 5
sym myDate myTime vol IBM 2021.01.02 13:00:00 [89,26,10] GS 2021.01.02 13:00:01 [52,30,59] IBM 2021.01.02 13:00:02 [45,11,87] GS 2021.01.02 13:00:03 [92,0,36] IBM 2021.01.02 13:00:04 [85,98,47] -
每秒回放 1000 条数据:
timer replay(inputTables=input_dict, outputTables=opt, dateColumn = date_dict, timeColumn=time_dict, replayRate=1000, absoluteRate=true) Time elapsed: 2010.107 ms
两张输入表中一共有 2000 条数据,每秒回放 1000 条耗时大约 2 秒。
-
加速 100,000 倍时间回放:
timer replay(inputTables=input_dict, outputTables=opt, dateColumn = date_dict, timeColumn=time_dict, replayRate=100000, absoluteRate=false) Time elapsed: 3485.393 ms
两张输入表中的最大时间与最小时间相差 346,600 秒,加速 100,000 倍时间回放耗时大约 3.5 秒。
-
以最快的速率回放:
timer replay(inputTables=trades,outputTables=st,dateColumn=`date,timeColumn=`time) Time elapsed: 1.996 ms
以下是异构回放输出表 opt 的结构以及数据预览
opt.schema().colDefs
name
typeString
typeInt
timestamp DATETIME 11 sym SYMBOL 17 blob BLOB 32 vol INT[] 68 select * from opt limit 5
timestamp sym blob vol 2021.01.02T13:00:00 msg2 IBM�Hж (X %cx�?�Q�� @��_w�? [19,40,88] 2021.01.02T13:00:00 msg1 IBM�Hж Y [89,26,10] 2021.01.02T13:00:01 msg2 GS�HѶ M 8 e�Q@pƈ6@x �\ @ [77,4,56] 2021.01.02T13:00:01 msg1 GS�HѶ 4; [52,30,59] 2021.01.02T13:00:02 msg2 IBM�HҶ : ��V~@���@qi#@ [58,22,32]
应用例子 2
结合 replayDS
回放磁盘分区表数据:
-
将输入表写入数据库中:
//将输入表写入数据库中 if(existsDatabase("dfs://test_stock1")){ dropDatabase("dfs://test_stock1") } db1=database("",RANGE, 2021.01.02..2021.01.07) db2=database("",VALUE,`IBM`GS) db=database("dfs://test_stock1",COMPO,[db1, db2], engine="TSDB") orders=db.createPartitionedTable(t1,`orders,`myDate`sym, sortColumns=`sym`myDate`myTime) orders.append!(t1) trades=db.createPartitionedTable(t2,`trades,`date`sym, sortColumns=`sym`date`time) trades.append!(t2)
-
使用
replayDS
对数据源进行划分://获取数据源 ds1 = replayDS(sqlObj=<select * from loadTable(db, `orders)>, dateColumn=`myDate, timeColumn=`myTime) ds1.size() ds2 = replayDS(sqlObj=<select * from loadTable(db, `trades)>, dateColumn=`date, timeColumn=`time) ds2.size() //输入表的表名及时间列映射字典 input_dict = dict(["msg1", "msg2"], [ds1, ds2]) date_dict = dict(["msg1", "msg2"], [`myDate, `date]) time_dict = dict(["msg1", "msg2"], [`myTime, `time]) //查看划分出的数据源个数 ds.size() #output 5
-
使用
replay
对划分好的数据源进行全速回放:timer replay(inputTables=input_dict, outputTables=opt, dateColumn = date_dict, timeColumn=time_dict) Time elapsed: 9.972 ms
应用例子 3
异构回放:回放的输出表注入 streamFilter 引擎,进一步过滤分发处理
-
定义 streamFilter:
//定义 streamFilter 输入表 share streamTable(100:0,`timestamp`sym`blob`vol, [DATETIME,SYMBOL, BLOB, INT[]]) as streamFilter_input //定义 streamFilter 输出表 filterOrder=table(100:0, `sym`date`time`volume, [SYMBOL, DATE, SECOND, INT[]]) filterTrades=table(100:0, `sym`date`time`volume`price, [SYMBOL, DATE, SECOND, INT[], DOUBLE[]]) //设置 streamFilter 的过滤和处理条件 filter1=dict(STRING,ANY) filter1['condition']=`msg1 filter1['handler']=filterOrder filter2=dict(STRING,ANY) filter2['condition']=`msg2 filter2['handler']=filterTrades schema=dict(["msg1","msg2"], [filterOrder, filterTrades]) //定义 streamFilter,对接收的数据进行处理,分别分发到表 filterOrder 和 filterTrades stEngine=streamFilter(name=`streamFilter, dummyTable=streamFilter_input, filter=[filter1,filter2], msgSchema=schema)
-
订阅表 opt,将结果注入 streamFilter
subscribeTable(tableName="opt", actionName="sub1", offset=0, handler=stEngine, msgAsTable=true)
-
使用
replay
对划分好的数据源进行全速回放:timer replay(inputTables=input_dict, outputTables=opt, dateColumn = date_dict, timeColumn=time_dict) Time elapsed: 9.012 ms
以下是 streamFilter 输出表 filterOrder 和 filterTrades 的结构以及数据预览
filterOrder.schema().colDefs
name
typeString
typeInt
sym SYMBOL 17 date DATE 6 time SECOND 10 volume INT[] 68 select * from filterOrder limit 5
sym myDate myTime vol IBM 2021.01.02 13:00:00 [89,26,10] GS 2021.01.02 13:00:01 [52,30,59] IBM 2021.01.02 13:00:02 [45,11,87] GS 2021.01.02 13:00:03 [92,0,36] IBM 2021.01.02 13:00:04 [85,98,47]