WorldQuant 101 Alpha 因子指标库

把附件的 wq101alpha.dos 放在 [home]/modules 目录下，[home] 目录由系统配置参数 home 决定，可以通过 getHomeDir() 函数查看。

有关模块使用的更多细节，请参见：DolphinDB 教程：模块 。

如若没有数据，可参考 日频数据及分钟频数据建库建表 生成模拟的日频数据 ；对于行业信息表的模拟数据生成，可参考 行业信息数据建库建表 。

如若已有数据，需保证现有的数据表中的字段名与模块中字段名一致，并将日频信息和行业信息做一个表连接。为方便使用，本教程准备了一个辅助模块 prepare101.dos 来帮助统一字段名。若要使用辅助模块，请将 prepare101.dos 放在 wq101alpha 模块 同一目录下。辅助模块中的prepareData函数的作用是将数据与标准字段的名称对齐，其中，rawData为非行业信息表，infoData为行业信息表，startTime与endTime 为需要的数据的起始时间和结束时间，其余参数为现有字段名与标准字段的对应名称：

注意：如若用户采用的数据字段名与 输入字段 中的标准字段名一致，无需调用准备函数 prepareData 。

载入模块和数据方法如下，data 即为准备好的数据：

use wq101alpha
use prepare101
login('admin', '123456')
rawData = loadTable("dfs://k_day_level", "k_day")
infoData = select * from loadTable("dfs://info", "info_data")
startTime = timestamp(2010.01.01)
endTime = timestamp(2010.01.31)
data = prepareData(rawData=rawData, startTime=startTime, endTime=endTime, securityidName="securityid", tradetimeName="tradetime", openName="open", closeName="close", highName="high", lowName="low", volumeName="vol", vwapName="vwap", capName="cap", indclassName="indclass", infoData=infoData, infoSecurityidName="securityid")

在 wq101alpha 模块中，大多数因子计算都涉及横向与纵向的计算。对于这样的因子，用户需先准备矩阵，再调用对应的 WQAlpha# 函数，返回的结果为矩阵。由于不同因子计算时用到的参数不同，用户需通过查询 附录1-因子入参一览表 来确定所需的参数。

计算方法如下：

use wq101alpha
input1 = exec close from data where tradetime between startTime : endTime pivot by tradetime, securityid
res1 = WQAlpha1(input1)

input2 = dict(`vol`close`open, panel(data.tradetime, data.securityid, [data.vol, data.close, data.open]))
res2 = WQAlpha2(input2.vol, input2.close, input2.open)

为了更加便于用户计算，省去查询参数这一步骤，因子计算准备函数模块 prepare101.dos提供了所需的矩阵准备函数 prepare# 和计算函数 calAlpha#，用户可将其作为模块导入。prepare#的作用是调用对应模块计算函数所需要的字段，calAlpha#的作用是将prepare#以及wqAlpha#封装。

以world quant alpha 第 1 号因子为例，辅助准备模块内的函数如下：

def prepare1(data, startTime, endTime){
    p = exec close from data where tradetime between startTime : endTime pivot by tradetime, securityid
    return p
}

def calAlpha1(data, startTime, endTime){
    input = prepare1(data, startTime, endTime)
    return WQAlpha1(input)
}
//调用方法如下：
use prepare101

res = calAlpha1(data, startTime, endTime)

注意：非行业因子中的41、54、101号因子除了可以用矩阵入参之外，也可以向量入参用 SQL 调用，如101号因子也可以这样调用：

use wq101alpha 
res = select tradetime, securityid, `alpha101 as factorname, WQAlpha101(close, open, high, low) as val from data where tradetime between startTime : endTime

用户可以按需灵活选取调用方法。

少部分因子涉及到了股票的行业分类信息。对于这些因子，用户需以表入参，返回的结果也为数据表。以 world quant alpha 第48 号因子为例：

use wq101alpha

res = WQAlpha48(data)

亦可使用 辅助准备模块 prepare101.dos 中的计算函数。

def calAlpha48(data, startTime, endTime){
    input = select * from data where tradetime between startTime : endTime
    return WQAlpha48(input)
}
//调用方法如下：
use prepare101

res = calAlpha48(data, startTime, endTime)

注意：论文中用了多种行业分类，如IndClass.subindustry，IndClass.industry, IndClass.sector等，为了简便起见，本模块统一只用IndClass这一个字段做行业中性化。

存储面板数据，需要先将面板数据转换为表，而后进行存储。以第 1 号因子为例，计算并存储因子，示例代码如下：

// 计算alpha 1号因子，得到的矩阵存储在res中
res = calAlpha1(data, startTime, endTime)

// 将res转换成表并存储在因子宽表中
writePanelInWideTable(res, `alpha1)

其中 writePanelInWideTable 的实现可见 Alpha101计算存储全流程代码汇总。

wq101alpha 模块中返回的表为纵表，可以直接存入单值模型（纵表）。若要将其存入宽表，可以用 pivot by 将纵表重新排列（tradetime，factorname 为行，securityid 为列）。以第 101 号因子为例，代码如下：

// 计算world quant alpha 101号因子，得到的纵表存储在res中
res = calAlpha101(data, startTime, endTime)

// 将res转换成表并存储在因子宽表中
writeLongInWideTable(res)

其中 writeLongInWideTable 的实现可见 Alpha101计算存储全流程代码汇总。

本节用一年模拟日频数据对比了 wq101alpha 模块和 101因子的Pandas实现 计算101个因子的性能。

用 wq101alpha 模块中的函数计算并计时，核心代码如下，完整的脚本可参考 wq101alpha 模块性能测试：

times = array(INT, 0)
defs()
for (i in 1:102){
    if (i in passList) times.append!(NULL)
    else{
        print(i)
        alphaName = exec name from defs() where name = "wq101alpha::WQAlpha"+string(i)
        alphaSyntax = exec syntax from defs() where name = "wq101alpha::WQAlpha"+string(i)
        function = alphaName + alphaSyntax
        t1 = time(now())
        res = parseExpr(function[0]).eval()
        t2 = time(now())
        times.append!(t2 - t1)
    }
}

用 Python 脚本计算并计时，核心代码如下，完整的脚本可参考 Python alpha 101 性能测试：

times = []

nofunc = [48, 56, 58, 59, 63, 67, 69, 70, 76, 79, 80, 82, 87, 89, 90, 91, 93, 97, 100]

for i in range(1, 102):
    if i in nofunc:
        times.append('no function')
        continue
    else:
        factor = getattr(Alphas, "alpha{:03d}".format(i))
    try:
        t1 = time.time()
        res = factor(stock)
        t2 = time.time()
        times.append(t2 - t1)
    except Exception:
        times.append('error')

通过两个性能测试脚本，可得到 wq101alpha 模块和 Python 脚本计算101个因子的运行耗时，完整结果可见 性能对比结果。筛除 Python 脚本中未实现的因子和实现有误的因子后，可供比较的因子共 69 个。对比结果见下表，单位为毫秒 ms。

从上表结果可以看出，使用 DolphinDB 实现的 wq101alpha 模块的计算效率远远高于 Python 的实现。DolphinDB 的性能中位数为 Python 的15.5倍，其中，27.5%的因子超100倍。

其中因子41的实现，DolphinDB 慢于 Python。原因是 pow 函数的实现有些许不同。DolphinDB 会在后续版本中提升这个内置函数的性能。

考虑到用 python pandas Dataframe 实现因子的计算性能效率可能不及 numpy ，为公平起见，本节抽取了11个 pandas 实现耗时特别久的因子，重新用 numpy 实现，具体代码见部分101因子的numpy实现。 DolphinDB 与 numpy 在实现这些因子的性能比较如下：

从结果上来看， numpy 的实现确实比 pandas dataframe 实现快一些，但是由于窗口函数 numpy 中是用 numpy.lib.stride_tricks.sliding_window_view 实现的，对于窗口计算没有优化，故性能并没有显著提升。

综合来看，DolphinDB 在实现 WorldQuant 101 alpha 因子上有非常大的优势，性能卓越。

结果显示50%的因子DolphinDB与pandas计算结果一致。其余因子通过研究，发现 wq101alpha 模块与 Python pandas 实现有以下差异：

• 空值处理：wq101alpha 模块中，对一个滚动 / 累积窗口长度为 k 的函数，每组最初的 (k-1) 个位置的结果均为空；Python 实现中，某些因子会默认将空值取0，某些因子不作改动。

• Rank实现差异：如 alpha 4 号因子，在 DolphinDB 中的结果与 python 中的结果相差1，其原因是Rank的实现在 DolphinDB 中是从0开始排序，而在 python 中是从1开始排序。

• 结果不一致：经人工检验，Python 实现中存在一定错误。例如 Python 脚本计算 alpha 27 号因子的结果全为1，经检验为 Python 实现有错误。

该类因子目前少见 Python 实现，且因该模块中考虑到实际使用的便利性，已调整论文中的实现方式，故不作比较。

• 非行业信息因子

• 行业信息因子

• 主模块：wqalpha101 module
• 101 Formulaic Alphas
• DolphinDB 教程：模块
• 日频数据及分钟频数据建库建表
• 行业信息数据建库建表
• Alpha101计算存储全流程代码汇总
• 因子计算准备函数模块
• 因子最佳实践中的因子存储章节
• 101因子的Python实现参考出处
• 本文用的101因子python模块代码
• 下载一年模拟日频数据
• wq101alpha 模块性能测试脚本
• Python alpha 101 性能测试脚本
• 完整性能对比结果
• DolphinDB 正确性验证脚本
• Python 正确性验证脚本
• 正确性对比脚本
• WQ101alpha流计算全流程