CSAP 因子指标库

DolphinDB CSAP 模块主要包含以下模块文件：

1. CSAPFactors：包含了 195 个标准化因子计算函数。
2. CSAPPrepare：
   1. prepare 开头函数：实现原始数据清洗与结构化处理。
   2. calc 开头函数：完成基础指标计算，包含数据清洗和计算两部分。
3. CSAPHelper：提供因子计算所需的合成数据模拟生成函数。

CSAP 因子模块中的所有函数命名规则基于因子的定义， 如 brandInvest 为反映公司品牌投资率的自定义因子。每一个因子的入参字段有所不同，具体参考附件中的入参含义参考表格 parameter.csv。部分输入参数字段如下：

将附件的 CSAPFactors.dos 放在 [home]/modules 目录下。[home] 目录由系统配置参数 home 设置，可以通过 getHomeDir() 函数查看。若要使用模拟生成数据辅助模块，请将 CSAPDataSimulation.dos 放在 CSAPFactors 模块同一目录下。若要使用数据清理辅助模块，请将 CSAPPrepare.dos 放在 CSAPFactors 模块同一目录下。

有关模块使用的更多细节，请参见：DolphinDB 教程：模块。

CSAP 的模块中一共使用到包括 Compustat、CRSP 等14 个数据表格，具体的列表可以参照 CSAPFactorTableInfo。

如若没有上述数据，可使用 CSAPDataSimulation 模块中的 CSAPDataSimulation 函数用来模拟生成表格数据，并返回一个字典（ key 为表格名称，value 为表格数据）。模拟数据过程中需要提供 permno, gvkey, startYear, endYear 这四个参数。其中，前两个参数含义在上文已经介绍，startYear 和 endYear 代表模拟数据的时间范围。

如若已有可直接计算的数据，则需要保证数据表中的字段名与因子所需的参数名称保持一致。关于因子所需要的入参表格和参数名称等信息，用户可以到 CSAPFactorTableInfo 中查看。

准备好所需数据源之后，有些特殊表格（例如 SignalMasterTable）需要进行多表连接，并且不同的表格需要进行不同的数据清理步骤。为方便使用，本教程中的辅助模块 CSAPPrepare.dos 来帮助进行数据清理，方便用户可以直接进行因子计算。辅助模块为每一张表都定义了对应的数据清理函数，用户可以根据因子计算所需要的表格，自行调用数据清理函数。

以加载 m_aCompustat 数据并进行数据清理操作为例。

use CSAPDataSimulation
use CSAPPrepare

gvkeyList = 10970 10910
startYear = 1987
endYear = 2023
//数据模拟及获取
result = CSAPDataSimulation::CSAPDataSimulation(gvkeyList, startYear, endYear)
CCMLinkingTable = result.CCMLinkingTable
CompustatAnnual = result.CompustatAnnual
//表格数据清理
m_aCompustat = CSAPPrepare::prepareM_aCompustat(CompustatAnnual, CCMLinkingTable)

CSAPFactors 模块中所有因子均采用向量化参数设计。用户需首先根据步骤2.2准备目标因子所需的数据集，并通过查询 CSAPFactorTableInfo 数据表确认具体参数需求。由于不同因子所需参数存在差异，建议在计算前完成参数匹配验证。

因子计算过程中的部分因子可以通过公司的财务数据进行计算，而另一部分因子则需要结合市场数据进行计算。为了方便用户计算因子，CSAP 模块提供了两种计算方式：

1. 完整计算：通过 prepare 系列函数执行数据清洗（如 prepareM_aCompustat 对 Compustat 年度数据与 CCM 关联表进行合并清洗），再调用 calc 函数（如 calcPctTotAcc）完成计算。例如，prepareM_aCompustat 函数中将两个表格数据进行清洗合并，calcPctTotAcc 函数计算了 pctTotAcc 因子。执行 calcPctTotAcc 函数后输出结果包含三列：证券标识(permno)、数据时点(time_avail_m)、因子值(PctTotAcc)。

   use CSAPPrepare
   // 全流程示例：数据准备+因子计算
   cleaned_data = CSAPPrepare::prepareM_aCompustat(CompustatAnnual, CCMLinkingTable)
   result = CSAPPrepare::calcPctTotAcc(
       cleaned_data, 
       startTime=1986.03M,  // 时间参数标准化格式
       endTime=2010.12M
   )

2. 直接计算：若已持有标准化数据，可直接调用 CSAPFactors 的因子函数：

   use CSAPFactors
   // 直接调用因子函数(需确保输入数据已标准化)
   result = select 
       permno, 
       time_avail_m, 
       pctTotAcc(ni, prstkcc, sstk, dvt, oancf, fincf, ivncf) as PctTotAcc 
   from cleaned_data

   该方式要求输入参数与函数定义严格匹配，建议配合元数据表验证参数完整性。

当用户完成所有基础数据表的准备后，包括 Compustat 财务报表、CRSP 市场数据、FF 三因子等核心数据源后（具体可以参考附件中的数据源列表），可通过以下标准化流程实现195个因子的自动化计算。其中 varDict 保存了所有的参数，只需要将字典中的 value 替换为对应的数据源后，即可通过 parseExpr 动态执行计算所有的因子。

// 全量计算
use CSAPPrepare
varDict = dict(
    ["startTime", "endTime", "m_aCompustat", "SignalMasterTable", 
     "monthlyCRSP", "monthlyFF", "monthlyLiquidity", "a_aCompustat",
     "m_QCompustat", "CompustatPensions", "CRSPdistributions", "monthlyMarket"], 
    [2005.01M , 2011.12M, m_aCompustat, SignalMasterTable, 
     monthlyCRSP, monthlyFF, monthlyLiquidity, a_aCompustat,
     m_QCompustat, CompustatPensions, CRSPdistributions, monthlyMarket]
)


funcList = select name, syntax from defs("CSAPPrepare::calc%")
resultDict = dict(STRING,ANY)
for (func in funcList) {
    try{
        factor_name = func.name.split("::")[1]
        resultDict[factor_name] = parseExpr(func.name + func.syntax, varDict = varDict).eval()
    }catch(ex){
        print func
        print(ex)
    }
}

数据源列表： CSAPFactorTableInfo.xlsx

参数意义：parameter.csv

因子模块：CSAPFactors.dos

数据清洗及因子计算模块： CSAPPrepare.dos

模拟数据模块： CSAPDataSimulation.dos

下面的因子介绍表格包含了所有因子的解释和出处。