基于函数的元编程
相关函数
-
函数 expr 从对象,运算符或其他元代码生成元代码。
语法: expr(X1, X2, ......) ,其中X可以是对象,运算符或其他元代码。
expr(6,<,8); // output < 6 < 8 > expr(sum, 1 2 3); // output < sum [1,2,3] > a=6; expr(a,+,1); // output < 6 + 1 > expr(<a>,+,1); // output < a + 1 > expr(<a>,+,<b>); // output < a + b > expr(a+7,*,8); // output < 13 * 8 > expr(<a+7>,*,8); // output < (a + 7) * 8 > expr(not, < a >); // output < ! a >
-
函数 eval 执行给定的元代码。
语法: eval(<X>) ,其中X是被执行的元代码。
eval(<1+2>); // output 3 eval(<1+2+3=10>); // output 0 eval(expr(6,<,8)); // output 1 eval(expr(sum, 1 2 3)); // output 6 a=6; b=9; eval(expr(<a>,+,<b>)); // output 15
-
函数 sqlCol 将列名转换为表达式。
语法:sqlCol(colNames),其中colNames可以是列名标量或向量。每一个列名都要用反引号、双引号或单引号。
sqlCol(`PRC); // output < PRC > sqlCol(["PRC", "RET", "DATE", "TICKER"]); // output (< PRC >,< RET >,< DATE >,< TICKER >)
-
函数 sqlColAlias 使用元代码和一个别名(可选参数)来定义一个列。计算列会经常使用此函数。
语法: sqlColAlias(<metacode>, [aliasName])
sqlColAlias(<x>, `y); // output < x as y > sqlColAlias(<avg(PRC)>, `avgPRC); // output < avg(PRC) as avgPRC > sqlColAlias(<avg(PRC)>); // output < avg(PRC) as avg_PRC >
-
函数 sql 可以动态生成SQL语句。
语法: sql(select, from, [where], [groupBy], [groupFlag], [csort], [ascSort], [having], [orderBy], [ascOrder], [limit], [hint])
symbol = take(`GE,6) join take(`MSFT,6) join take(`F,6) date=take(take(2017.01.03,2) join take(2017.01.04,4), 18) price=31.82 31.69 31.92 31.8 31.75 31.76 63.12 62.58 63.12 62.77 61.86 62.3 12.46 12.59 13.24 13.41 13.36 13.17 volume=2300 3500 3700 2100 1200 4600 1800 3800 6400 4200 2300 6800 4200 5600 8900 2300 6300 9600 t1 = table(symbol, date, price, volume); t1;
symbol date price volume GE 2017.01.03 31.82 2300 GE 2017.01.03 31.69 3500 GE 2017.01.04 31.92 3700 GE 2017.01.04 31.8 2100 GE 2017.01.04 31.75 1200 GE 2017.01.04 31.76 4600 MSFT 2017.01.03 63.12 1800 MSFT 2017.01.03 62.58 3800 MSFT 2017.01.04 63.12 6400 MSFT 2017.01.04 62.77 4200 MSFT 2017.01.04 61.86 2300 MSFT 2017.01.04 62.3 6800 F 2017.01.03 12.46 4200 F 2017.01.03 12.59 5600 F 2017.01.04 13.24 8900 F 2017.01.04 13.41 2300 F 2017.01.04 13.36 6300 F 2017.01.04 13.17 9600 x=5000 whereConditions = [<symbol=`MSFT>,<volume>x>] havingCondition = <sum(volume)>200>; sql(sqlCol("*"), t1); // output < select * from t1 > sql(sqlCol("*"), t1, whereConditions); // output < select * from t1 where symbol == "MSFT",volume > x > sql(select=sqlColAlias(<avg(price)>), from=t1, where=whereConditions, groupBy=sqlCol(`date)); // output < select avg(price) as avg_price from t1 where symbol == "MSFT",volume > x group by date > sql(select=sqlColAlias(<avg(price)>), from=t1, groupBy=[sqlCol(`date),sqlCol(`symbol)]); // output < select avg(price) as avg_price from t1 group by date,symbol > sql(select=(sqlCol(`symbol),sqlCol(`date),sqlColAlias(<cumsum(volume)>, `cumVol)), from=t1, groupBy=sqlCol(`date`symbol), groupFlag=0); // output < select symbol,date,cumsum(volume) as cumVol from t1 context by date,symbol > sql(select=(sqlCol(`symbol),sqlCol(`date),sqlColAlias(<cumsum(volume)>, `cumVol)), from=t1, where=whereConditions, groupBy=sqlCol(`date), groupFlag=0); // output < select symbol,date,cumsum(volume) as cumVol from t1 where symbol == "MSFT",volume > x context by date > sql(select=(sqlCol(`symbol),sqlCol(`date),sqlColAlias(<cumsum(volume)>, `cumVol)), from=t1, where=whereConditions, groupBy=sqlCol(`date), groupFlag=0, csort=sqlCol(`volume), ascSort=0); // output < select symbol,date,cumsum(volume) as cumVol from t1 where symbol == "MSFT",volume > x context by date csort volume desc > sql(select=(sqlCol(`symbol),sqlCol(`date),sqlColAlias(<cumsum(volume)>, `cumVol)), from=t1, where=whereConditions, groupBy=sqlCol(`date), groupFlag=0, having=havingCondition); // output < select symbol,date,cumsum(volume) as cumVol from t1 where symbol == "MSFT",volume > x context by date having sum(volume) > 200 > sql(select=sqlCol("*"), from=t1, where=whereConditions, orderBy=sqlCol(`date), ascOrder=0); // output < select * from t1 where symbol == "MSFT",volume > x order by date desc > sql(select=sqlCol("*"), from=t1, limit=1); // output < select top 1 * from t1 > sql(select=sqlCol("*"), from=t1, groupBy=sqlCol(`symbol), groupFlag=0, limit=1); // output < select top 1 * from t1 context by symbol > sql(select=(sqlCol(`symbol),sqlCol(`date),sqlColAlias(<cumsum(volume)>, `cumVol)), from=t1, groupBy=sqlCol(`date`symbol), groupFlag=0, hint=HINT_KEEPORDER); // output < select [128] symbol,date,cumsum(volume) as cumVol from t1 context by date,symbol >
可以定义一个函数使用 sql 函数来动态生成SQL语句。
def f1(t, sym, x){ whereConditions=[<symbol=sym>,<volume>x>] return sql(sqlCol("*"),t,whereConditions).eval() }; f1(t1, `MSFT, 5000);
symbol date price volume MSFT 2017.01.04 63.12 6400 MSFT 2017.01.04 62.3 6800 f1(t1, `F, 9000);
symbol date price volume F 2017.01.04 13.17 9600 def f2(t, sym, colNames, filterColumn, filterValue){ whereConditions=[<symbol=sym>,expr(sqlCol(filterColumn),>,filterValue)] return sql(sqlCol(colNames),t,whereConditions).eval() }; f2(t1,`GE, `symbol`date`volume, `volume, 3000);
symbol date volume GE 2017.01.03 3500 GE 2017.01.04 3700 GE 2017.01.04 4600 f2(t1,`F, `symbol`date`volume,`price,13.2);
symbol date volume F 2017.01.04 8900 F 2017.01.04 2300 F 2017.01.04 6300 -
函数 partial 可以创建部分应用。
语法:
partial(func, args...)
partial(add,1)(2); // output 3 def f(a,b):a pow b g=partial(f, 2) g(3); // output 8
-
函数 makeCall 使用指定参数调用函数并生成脚本。与高阶函数 call 的区别是 makeCall 不执行脚本。
在下列例子中,我们创建了 generateReport 函数。它能够以指定格式显示表的某些列。
def generateReport(tbl, colNames, colFormat): sql(sqlColAlias(each(makeCall{format},sqlCol(colNames),colFormat),colNames), tbl).eval() t = table(1..100 as id, (1..100 + 2018.01.01) as date, rand(100.0, 100) as price, rand(10000, 100) as qty, rand(`A`B`C`D`E`F`G, 100) as city); t;
id date price qty city 1 2018.01.02 99.662328 6002 D 2 2018.01.03 24.965461 5836 B 3 2018.01.04 77.006418 5 G 4 2018.01.05 93.930603 5141 G 5 2018.01.06 70.994914 5778 C 6 2018.01.07 11.221769 9403 G 7 2018.01.08 59.387621 4632 G 8 2018.01.09 86.830752 4574 C 9 2018.01.10 53.928317 8397 G 10 2018.01.11 21.123212 6615 B ... ... ... ... ... generateReport(t, ["id", "date","price","qty"], ["0", "MM/dd/yyyy", "0.00", "#,###"]);
id date price qty 1 01/02/2018 16.32 9,972 2 01/03/2018 63.10 7,785 3 01/04/2018 30.43 3,629 4 01/05/2018 33.57 2,178 5 01/06/2018 61.12 9,406 6 01/07/2018 43.29 6,955 7 01/08/2018 54.97 9,914 8 01/09/2018 86.20 6,696 9 01/10/2018 90.82 6,141 10 01/11/2018 4.29 3,774 ... ... ... ... 与之等效的SQL脚本是
def generateReportSQL(tbl, colNames, colFormat): sql(sqlColAlias(each(makeCall{format},sqlCol(colNames),colFormat),colNames), tbl) generateReportSQL(t, ["id", "date","price","qty"], ["0", "MM/dd/yyyy", "0.00", "#,###"]); // output < select format(id, "0") as id,format(date, "MM/dd/yyyy") as date,format(price, "0.00") as price,format(qty, "#,###") as qty from t >
以下3个示例使用了3种不同的方法来创建一个生成SQL语句的函数:
例1:
def f1(t, sym, x): select * from t where name=sym, vol>x;
f1(t1, `MSFT, 7000);
name | date | PRC | vol |
---|---|---|---|
MSFT | 2017.01.03 | 63.12 | 8800 |
MSFT | 2017.01.03 | 62.58 | 7800 |
我们也可以使用函数 eval 和一个元代码块创建这个函数。
例2:
def f2(t, sym, x): eval(<select * from t where name=`MSFT, vol>x >);
f2(t1,`MSFT, 7000);
name | date | PRC | vol |
---|---|---|---|
MSFT | 2017.01.03 | 63.12 | 8800 |
MSFT | 2017.01.03 | 62.58 | 7800 |
我们还可以定义一个函数使用 sql 函数来生成SQL语句。当调用该函数时,代码中的sql函数动态地生成SQL语句并执行。对于生成更加复杂的查询,这种方法更加方便灵活。
例3:
def f3(t, sym, x){
whereConditions=[<name=sym>,<vol>x>]
return sql(sqlCol("*"),t,whereConditions).eval()
};
f3(t1, `MSFT, 7000);
name | date | PRC | vol |
---|---|---|---|
MSFT | 2017.01.03 | 63.12 | 8800 |
MSFT | 2017.01.03 | 62.58 | 7800 |
f3(t1, `F, 9000);
name | date | PRC | vol |
---|---|---|---|
F | 2017.01.04 | 13.17 |
在这3种方法中,函数 sql 最灵活。它可以动态地生成SQL语句。
def f4(t, sym, colNames, filterColumn, filterValue){
whereConditions=[<name=sym>,expr(sqlCol(filterColumn),>,filterValue)]
return sql(sqlCol(colNames),t,whereConditions).eval()
};
f4(t1,`MSFT, `name`date`vol, `vol, 7000);
name | date | vol |
---|---|---|
MSFT | 2017.01.03 | 8800 |
MSFT | 2017.01.03 | 7800 |
f4(t1,`F, `name`date`vol,`PRC,13.2);
name | date | vol |
---|---|---|
F | 2017.01.04 | 8900 |
F | 2017.01.04 | 2300 |
F | 2017.01.04 | 6300 |
-
函数 binaryExpr 可以生成一个二元运算的元代码。
语法:
binaryExpr(X, Y, optr)
t = table(reshape(rand(1.0, 200), 20:10)); n=10; weights = array(ANY, n).fill!(0..(n-1), 1..n)\n; names = t.colNames(); tp = binaryExpr(sqlCol(names), weights, *); tp; // output (< col0 * 0.1 >,< col1 * 0.2 >,< col2 * 0.3 >,< col3 * 0.4 >,< col4 * 0.5 >,< col5 * 0.6 >,< col6 * 0.7 >,< col7 * 0.8 >,< col8 * 0.9 >,< col9 * 1 >)
-
函数 unifiedExpr 可以生成一个多元运算表达式的元代码。
语法: unifiedExpr(objs, optrs)
以下例子在binaryExpr例子的基础上,生成一个sql的select语句代码, 用于对每列的值加权求和:
selects = sqlColAlias(unifiedExpr(binaryExpr(sqlCol(names), weights, *), take(+, n-1)), "weightedSum"); re = sql(selects, t); re; // output < select (col0 * 0.1) + (col1 * 0.2) + (col2 * 0.3) + (col3 * 0.4) + (col4 * 0.5) + (col5 * 0.6) + (col6 * 0.7) + (col7 * 0.8) + (col8 * 0.9) + (col9 * 1) as weightedSum from tc0ccbd6a00000000 > re.eval()
weightedSum 2.1239 3.5725 3.5009 3.3487 2.8268 1.9753 2.4287 2.9222 3.0469 2.9751 2.8848 2.993 2.7185 2.2578 2.6231 2.3871 3.0311 2.0183 2.897 2.5982 -
函数 makeUnifiedCall 可以生成一个函数调用的元代码。高阶函数 unifiedCall 与 makeUnifiedCall 的区别是,makeUnifiedCall 不执行脚本。
语法: makeUnifiedCall(func, args)
以下例子生成一个和9中例子等价的元代码:
selects = sqlColAlias(makeCall(flatten, makeCall(dot, makeUnifiedCall(matrix, sqlCol(names)), 1..n\n)), "weightedSum"); re = sql(selects, t); re; // output < select flatten(dot(matrix(col0, col1, col2, col3, col4, col5, col6, col7, col8, col9), [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1])) as weightedSum from tc0ccbd6a00000000 > re.eval();
weightedSum 2.1239 3.5725 3.5009 3.3487 2.8268 1.9753 2.4287 2.9222 3.0469 2.9751 2.8848 2.993 2.7185 2.2578 2.6231 2.3871 3.0311 2.0183 2.897 2.5982
使用元编程生成报表
我们可以使用函数 format
函数生成报表。format
函数有两个参数:列名和对应的格式字符串。格式字符串与Java中的数字和日期格式字符串相似。我们使用6种符号(0/#/,/./%/E)来表示数字的格式,使用9种符号(y/M/d/H/h/m/s/S/n)表示时序数据的格式。例如:
输入数据 | 格式字符串 | 输出数据 |
---|---|---|
2012.12.05T15:30:59.125 | yyyy-MM-dd HH:mm | 2012-12-05 15:30 |
2012.12.05 | MMMddyyyy | DEC052012 |
0.1356 | 0.0% | 13.6% |
1234567.42 | #,###.0 | 1,234,567.4 |
1234567.42 | 0.00####E0 | 1.234567E6 |
下面的例子创建了一个自定义函数,给定表、列名和每个列的格式字符串,就能生成报表。sqlCol、sqlColAlias、sql 和 makeCall 函数可以用于生成SQL语句,调用 eval 函数来生成报表,makeCall 函数调用脚本并生成一系列元代码,makeCall 函数的第一个参数是函数,其他参数是函数所需的参数。
def generateReport(tbl, colNames, colFormat){
colCount = colNames.size()
colDefs = array(ANY, colCount)
for(i in 0:colCount){
if(colFormat[i] == "")
colDefs[i] = sqlCol(colNames[i])
else
colDefs[i] = sqlCol(colNames[i], format{,colFormat[i]})
}
return sql(colDefs, tbl).eval()
}
生成100行4列(列名为id, date, price和qty)的样本表,随后调用generateReport函数生成报表。
t = table(1..100 as id, (1..100 + 2018.01.01) as date, rand(100.0, 100) as price, rand(10000, 100) as qty);
t;
id | date | price | qty |
---|---|---|---|
1 | 2018.01.02 | 61.483376 | 8733 |
2 | 2018.01.03 | 21.254616 | 8365 |
3 | 2018.01.04 | 37.408301 | 444 |
4 | 2018.01.05 | 70.608384 | 9944 |
5 | 2018.01.06 | 80.361811 | 7185 |
... | ... | ... | ... |
generateReport(t, ["id", "date","price","qty"], ["0", "MM/dd/yyyy", "0.00", "#,###"]);
id | date | price | qty |
---|---|---|---|
1 | 01/02/2018 | 61.48 | 8,733 |
2 | 01/03/2018 | 21.25 | 8,365 |
3 | 01/04/2018 | 37.41 | 444 |
4 | 01/05/2018 | 70.61 | 9,944 |
5 | 01/06/2018 | 80.36 | 7,185 |
... | ... | ... | ... |
也可使用元编程生成过滤条件。
def generateReportWithFilter(tbl, colNames, colFormat, filter){
colCount = colNames.size()
colDefs = array(ANY, colCount)
for(i in 0:colCount){
if(colFormat[i] == "")
colDefs[i] = sqlCol(colNames[i])
else
colDefs[i] = sqlCol(colNames[i], format{,colFormat[i]})
}
return sql(colDefs, tbl, filter).eval()
}
generateReportWithFilter(t, ["id","date","price","qty"], ["","MM/dd/yyyy", "00.00", "#,###"], < id>10 and price<20 >);
id | date | price | qty |
---|---|---|---|
11 | 01/12/2018 | 11.21 | 7,033 |
18 | 01/19/2018 | 09.97 | 6,136 |
29 | 01/30/2018 | 06.33 | 3,834 |
31 | 02/01/2018 | 05.52 | 6,851 |
38 | 02/08/2018 | 14.55 | 7,482 |