HDF5 文件导入

loadHDF5 函数用于将数据导入 DolphinDB 内存表，其用法与 loadText 基本一致，区别在于导入 HDF5 文件中的数据还需要指定需要导入的数据集名称。

下例调用 loadHDF5 函数导入 demo1.h5 文件中的 data 数据集，并查看生成的数据表的结构。

dataFilePath = "./hdf5file/demo1.h5"
tmpTB = hdf5::loadHDF5(dataFilePath, "data");
select * from tmpTB

调用 schema 函数查看表结构（字段名称、数据类型等信息）：

tmpTB.schema().colDefs;

将 HDF5 文件中的数据加载为内存表对象后，可以使用 tableInsert 或 append! 方法将数据写入分布式数据库。需要注意的是，目标库表必须提前创建。

建库和建表的脚本如下：

create database "dfs://demoDB" partitioned by HASH([SYMBOL,25])
create table "dfs://demoDB"."data"(
    time LONG,
    customerId SYMBOL,
    temp INT,
    amp DOUBLE
)
partitioned by customerId

完成建库建表后，可以使用以下脚本将数据导入到目标数据库中：

dfsTable = loadTable("dfs://demoDB", "data")
tableInsert(dfsTable, tmpTB)

除了显式构建内存表再入库的方法，DolphinDB 还提供了 loadHDF5Ex 方法，可以将数据加载、清洗、入库一次性完成。使用 loadHDF5Ex 方法前，需要在系统中创建相应的分布式库表。

以上一小节的样例数据 demo1.h5 为例，使用 loadHDF5Ex 将 demo1.h5 文件的 data 数据集直接导入 demoDB 库：

// 清除库中数据
truncate("dfs://demoDB","data")
// 导入数据库
dataFilePath = "./hdf5file/demo1.h5"
hdf5::loadHDF5Ex(database("dfs://demoDB"), "data",
"customerId", dataFilePath, "data");

查看导入后的分布式表：

dfsTable = loadTable("dfs://demoDB","data")
select * from dfsTable 

loadHDF5Ex 和 loadHDF5 的主要区别在于，使用 loadHDF5Ex 时，用户需要指定目标库表的信息，包括分布式库名、表名和分区列等。除了这部分特有的参数外，loadHDF5Ex 还提供了一个 transform 参数，用于封装数据清洗和预处理的逻辑。通过这个参数，用户可以在数据加载过程中直接进行处理，而无需将数据导入内存后再进行额外的处理。关于 transform 参数的具体使用方法，参考数据清洗与预处理小节。

在导入数据前，可以通过 extractHDF5Schema 函数预先获取 HDF5 文件指定数据集的 schema 信息，包括字段名称和数据类型。通过查看 schema，可以确认数据的列数、列名和数据类型是否符合预期。如果列名或数据类型不匹配，可以修改提取到的 schema 表，并在后续加载数据时通过指定正确的 schema 参数来确保数据得到正确解析。

例如，使用 extractHDF5Schema 函数获取hdf5Sample.h5 文件的表结构：

dataFilePath = "./hdf5file/hdf5Sample.h5"
hdf5::extractHDF5Schema(dataFilePath,"sample")

当系统自动识别的字段名称或者数据类型不符合预期时，可以通过修改 extractHDF5Schema 获取的 schema 表或直接创建 schema 表，为 HDF5 文件中的每列指定目标字段名称和数据类型。

指定字段名称

例如，将 hdf5Sample.h5 文件的 symbol 列的列名修改为 securityID。可以通过以下脚本修改 schema：

dataFilePath = "./hdf5file/hdf5Sample.h5"
schemaTB = hdf5::extractHDF5Schema(dataFilePath,"sample")
update schemaTB set name = ["securityID","exchange","cycle","tradingDay","date","time","open","high","low","close","volume","turnover","unixTime"]

使用 loadHDF5 函数导入HDF5 文件时，将修改后的 schemaTB 作为 schema 参数传入：

tmpTB = hdf5::loadHDF5(dataFilePath, "sample", schemaTB);

调用 schema 函数查看表结构。可以发现，symbol 列名已修改为 securityID。

tmpTB.schema().colDefs;

指定类型

原始数据中的时间列是以 INT 类型保存的时间戳，在此处我们期望的 tradingDay 和 date 列类型为 DATE，unixTime 列类型为 TIMESTAMP，修改 schema 中 type 类型：

dataFilePath = "./hdf5file/hdf5Sample.h5"
schemaTB = hdf5::extractHDF5Schema(dataFilePath,"sample")
update schemaTB set type="DATE" where name="tradingDay" or name="date"
update schemaTB set type="TIMESTAMP" where name="unixTime"

使用 loadHDF5 函数导入 HDF5 文件时，指定 schema 参数为 schemaTB：

tmpTB = hdf5::loadHDF5(dataFilePath, "sample", schemaTB);

调用 schema 函数查看表结构。可以发现，导入的 tradingDay 列和 date 列的数据类型为 DATE，unixTime 列的数据类型为 TIMESTAMP。

tmpTB.schema().colDefs;

loadHDF5 接口支持从 HDF5 文件中按需导入数据集的指定行数。通过参数 startRow 和 rowNum，用户可以灵活控制从数据集的哪个起始行开始读取以及读取的行数，从而实现对大规模数据的分块导入或针对特定区间的数据处理需求。

从数据集的第 10 行开始读取 100 行数据：

tmpTB = hdf5::loadHDF5(dataFilePath, "sample", schemaTB, 9, 100);

查看导入的行数：

select count(*) from tmpTB
/*
count
-----
100  
*/

查看前 5 行的内容：

select top 5 * from tmpTB;

在 HDF5 的数据集中，日期和时间通常以整型或长整型的形式存储。当有些时间列数据以整型的形式表示时，直接对其解析会导致结果不正确，以 hdf5Sample.h5 为例，其 time 列以数值形式表示时间，例如以 9:31:00.000 表示为 93100000。针对这种场景，可通过 loadHDF5Ex 函数的 transform 参数封装 replaceColumn! 函数实现类型转换。

首先，创建目标分布式数据库和表：

dataFilePath = "./hdf5file/hdf5Sample.h5"
dbPath = "dfs://testDB"
db = database(dbPath,VALUE,2018.01.02..2018.01.30)
schemaTB = hdf5::extractHDF5Schema(dataFilePath,"sample")
update schemaTB set type="DATE" where name="tradingDay" or name="date"
update schemaTB set type="TIME" where name="time"
update schemaTB set type="TIMESTAMP" where name="unixTime"
tb = table(1:0,schemaTB.name,schemaTB.type)
pt = db.createPartitionedTable(tb,`tb1,`date);

自定义函数 i2t，封装数据处理逻辑，将 time 列转换为 TIME 类型：

def i2t(mutable t){
    replaceColumn!(table=t, colName=`time, newCol=t.time.format("000000000").string().temporalParse("HHmmssSSS"))
    return t
}

调用 loadHDF5Ex 函数，并且指定 transform 参数为 i2t 函数，系统会对文本文件中的数据执行 i2t 函数，并将结果保存到数据库中：

schemaTB = hdf5::extractHDF5Schema(dataFilePath,"sample")
update schemaTB set type="DATE" where name="tradingDay" or name="date"
update schemaTB set type="TIMESTAMP" where name="unixTime"
hdf5::loadHDF5Ex(database("dfs://testDB"), "tb1", "date", dataFilePath,"sample", schemaTB, , , i2t)

查看数据库中前 5 条数据，time 列数据符合预期：

select top 5 * from loadTable("dfs://testDB", "tb1")

在实际数据处理中，我们通常需要进行缺值处理，如缺值删除、填充等。在 DolphinDB 中内置了 bfill, ffill, interpolate, nullFill 等函数填充空值。当内置函数要求多个参数时，我们可以使用部分应用将多参数函数转换为一个参数的函数。

例如，调用 nullFill! 函数对 HDF5 文件中的空值进行填充，可在定义的 tranform 函数中增加以下语句：

nullFill!(t,0)

HDF5 中的数据结构如下：

在导入 DolphinDB 后会将每个元素都会被解析为一行数据，复合类型的 key 解析为列名，value 则作为数据值。每行的数据类型根据数据转换规则确定。

导入DolphinDB 后的结构如下：

HDF5 中数据结构如下：

在导入 DolphinDB 时也会将每一个数组解析为一行，字段名为 “array_数据索引“。导入 DolphinDB 后的表结构如下：

嵌套类型是指 HDF5 表中为复合类型表，复合类型表中的每一个元素中还包括了复合类型或数组类型数据。HDF5 中的结构如下：

对嵌套的复杂类型，结果中会添加'A'前缀代表数组，'C'前缀代表复合类型。元素内部复合类型和数组类型的解析和上述非嵌套结构相同。最终导入 DolphinDB 的结构如下：