数据导入最容易忽略的十个细节

不指定 containHeader 时，系统将会使用 col0, col1, … 等作为列名。

执行 loadText("/xxx/colName.csv")，导入结果如下：

需要注意的是，由于 col0 和 col1 可以被视作一组具有离散值的变量，符合枚举类型的特征，被默认解析为 SYMBOL 类型；而 col2 - col5 这几列数据都是整数形式，被默认解析为 INT 类型，因此 col2 原本的列名 totalSale 无法写入该列，为空；col3 - col5 原本的列名只保留了开头可以解析为数字的 2023 部分。

指定 containHeader = true 时，系统会使用 “c” 加列名作为数字开头列的列名。

执行 loadText("/xxx/colName.csv", containHeader = true)，导入结果如下：

对于数字开头的列名，指定 containHeader = true，可以保证数据完整性，仅在列名前添加字符 “c”，是目前最佳的解决方案。因此，当使用 loadText 函数导入的文本文件表头有列名以数字开头时，应该指定 containHeader = true。

执行 loadText("/xxx/type.csv")，导入结果如下：

执行 extractTextSchema("/xxx/type.csv")，可以看到，ticker 列被默认解析为 INT 类型，不符合预期：

可以使用 extractTextSchema 函数先得到自动解析结果，再将 ticker 列的类型指定为 SYMBOL 类型，并用修改后的结果作为 loadText 函数的 schema 参数值进行导入，即可得到预期结果：

schema = extractTextSchema("/xxx/type.csv")
update schema set type =`SYMBOL where name = "ticker"
loadText("/xxx/type.csv", schema=schema)

直接使用 loadText 函数导入 DolphinDB，由于 ticker 列是形如 "yyMMdd" 的数据，且同时满足 0<=yy<=99，0<=MM<=12，1<=dd<=31 的条件，会被优先解析成 DATE 类型。

执行 loadText("/xxx/notdate.csv")，导入结果如下：

导入此类符合日期、时间格式的数据时，无需使用 extractTextSchema 函数查看自动解析结果，可提前在 schema 参数中将 ticker 列指定解析为 SYMBOL 类型，再进行导入，即可得到预期结果。

执行如下代码：

schema = table(`id`ticker`price as name, `INT`SYMBOL`DOUBLE as type)
loadText("/xxx/notdate.csv", schema = schema)

如果先使用 loadText 函数把该文件加载到内存，再写入数据库，耗时 771.618ms。

timer{
    t = loadText("/xxx/data.csv")
    loadTable("dfs://test_load","data").append!(t)
}

>> Time elapsed: 771.618ms

直接使用 loadTextEx 函数将该文件入库，耗时 384.097ms。

timer{
    loadTextEx(database("dfs://test_load"), "data", "date", "/xxx/data.csv", sortColumns=`id)
}

>> Time elapsed: 384.097ms

数据量越大，两种方式的耗时差异越明显。

如果先使用 loadText 函数把该文件加载到内存，使用 nullFill! 去除空值，再写入数据库，耗时 802.23ms。

timer{
    t = loadText("/xxx/dataWithNULL.csv")
    t.nullFill!(0.0)
    loadTable("dfs://test_load","data").append!(t)
}

>> Time elapsed: 802.23ms

使用 loadTextEx 函数配合 transform 参数将该文件入库，耗时 385.086ms。

timer{
    loadTextEx(database("dfs://test_load"), "data", "date", "/xxx/dataWithNULL.csv", transform = nullFill!{, 0.0}, sortColumns=`id)
}

>> Time elapsed: 385.086 ms

可以看到，transform 参数使数据预处理变得非常便捷，无需在内存中额外处理数据，可以一步入库。

如果指定把 timestamp 列作为 TIMESTAMP 类型导入，该列导入结果将会全为空值：

schema = extractTextSchema("/xxx/time.csv")
update schema set type = "TIMESTAMP" where name = "timestamp"
loadText("/xxx/time.csv", schema=schema)

正确做法应该是把 timestamp 列以 LONG 类型直接导入，然后使用 replaceColumn! 和 timestamp 函数，将其手动转换为 TIMESTAMP 类型，即可得到预期结果：

t = loadText("/xxx/time.csv")
replaceColumn!(t, `timestamp, timestamp(exec timestamp from t))
t

直接把 timestamp 列以 LONG 类型直接导入，然后将其手动转换为 TIMESTAMP 类型后，得到的是零时区时间，和北京时间相差 8 个小时：

t = loadText("/xxx/localtime.csv")
replaceColumn!(t, `timestamp, timestamp(exec timestamp from t))
t

对于长整型转换为 TIMESTAMP 默认为零时区的现象，可以在转换类型时，利用 DolphinDB 内置的时区转换函数 localtime，把零时区时间转换成本地时间（本文测试的本地时间为东八区时间）：

t = loadText("/xxx/localtime.csv")
replaceColumn!(t, `timestamp, localtime(timestamp(exec timestamp from t)))
t

也可以利用 DolphinDB 内置时区转换函数 convertTZ，完成两个指定时区之间的转换：

t = loadText("/xxx/localtime.csv")
replaceColumn!(t, `timestamp, convertTZ(timestamp(exec timestamp from t), "UTC", "Asia/Shanghai"))
t

如下面的场景，使用 DSN 连接字符串连接 PostgreSQL，运行后出现报错：

odbcConfig = "DSN=PIE_PGSQL;Server="+ip+";port="+port+";DATABASE="+db+";Uid="+userName+";Password="+password+";"
conn = odbc::connect(odbcConfig)

>> FATAL: password authentication failed for user "pie_dev"

Linux 版本的 ODBC 插件基于 unixODBC 开发，isql 是 unixODBC 提供的基本工具，能够快速排查 ODBC 相关问题。使用相同的 DSN 连接字符串运行 isql，出现了相同的报错：

[28P01][unixODBC]FATAL: password authentication failed for user "pie_dev"
[ISQL]ERROR: Could not SQLDriverConnect

说明该问题与 DolphinDB 的 ODBC 插件无关，可能是连接字符串有问题。

查阅 连接字符串参考，发现 PostgreSQL 的 ODBC 标准连接字符串如下：

按照标准连接字符串形式，参考如下方式修改连接字符串：

odbcConfig = "Driver={PostgreSQL};Server="+ip+";port="+port+";DATABASE="+db+";Uid="+userName+";Password="+password+";"
conn = odbc::connect(odbcConfig)

运行后，连接成功。

在该 DolphinDB 数据存储的磁盘上进行一个 .zip 文件的解压任务，同时使用 loadTextEx 函数将另一个已解压的 csv 文件入库，耗时约 1m41s：

timer loadText(database("dfs://test_load"), "data", "SecurityID", "/xxx/mdl_6_28_0.csv", sortColumns=`SecurityID`UpdateTime)

>> Time elapsed: 101156.78ms

在导入过程中，观察磁盘读写速率如下：

可以看到，当在同一块磁盘同时解压数据和导入数据时，数据导入的速率降低了许多。

磁盘空闲，没有解压任务在执行时，直接使用 loadTextEx 函数入库相同的文件，耗时约 46s：

timer loadText(database("dfs://test_load"), "data", "SecurityID", "/xxx/mdl_6_28_0.csv", sortColumns=`SecurityID`UpdateTime)

>> Time elapsed: 46203.117ms

在导入过程中，观察 DolphinDB 磁盘读写速率如下：

并行导入下面的 csv 文件入库，他们入库的目标分区都为 2023.08M：

使用 submitJob 提交导入任务：

filePath = "/xxx/dailyData"
for (i in files(filePath).filename){
    submitJob("loadCSVTest", "load daily files to monthly db", loadTextEx, database("dfs://test_month"), "data", "date", filePath+i)
}

查看任务完成情况，可以看到，只有一个任务导入成功，别的任务都因为分区冲突而失败，抛出错误代码 S00002：

对于这种情况，我们可以串行导入文本文件，避免并行写入同一分区时的冲突：

def loadDaily(filePath){
	for (i in files(filePath).filename){
		loadTextEx(database("dfs://test_month"), "data",`date,filePath+i,sortColumns=`ID)
	}
}

path = "/xxx/dailyData/"
submitJob("loadCSVTest","load daily files to monthly db",loadDaily, path)

查看任务完成情况，可以看到，数据能够导入成功，没有报错：