Feather

loadPlugin("/path/to/plugin/PluginFeather.txt")

语法

feather::extractSchema(filePath)

参数

• filePath：Feather 文件路径，类型为字符串标量

详情

读取 Feather 文件数据的表结构，返回一张包含三列的表，第一列是列名，第二列是 Arrow 的数据类型，第三列是转换为 DolphinDB 的数据类型。 注意：如果 DolphinDBType 的某一行为 VOID，则说明 Feather 文件对应的列数据无法导入 DolphinDB。

例子

feather::extractSchema("path/to/data.feather");
feather::extractSchema("path/to/data.compressed.feather");

语法

feather::load(filePath, [columns])

参数

• filePath：Feather 文件路径，类型为字符串标量。
• columns：可选参数，字符串向量，表示要读取的列名集合。

详情

将 Feather 文件数据加载到 DolphinDB 数据库的内存表。Feather 文件中的 Arrow 数据类型与 DolphinDB 数据类型的转化规则，参见数据类型 。

注意：

1. 由于 DolphinDB 整数类型的最小值表示空值，因此，Arrow int8, Arrow int16, Arrow int32, Arrow int64 类型对应的最小值无法导入 DolphinDB。
2. 浮点数的正负无穷、nan 值都会被转换为 DolphinDB 中的空值。

例子

table = feather::load("path/to/data.feather");
table_part = feather::load("path/to/data.feather", [ "col1_name","col2_name"]);

语法

feather::save(table, filePath, [compressMethod], [compressionLevel])

参数

• table：要保存的表。
• filePath：保存的文件路径，类型为字符串标量。
• compression：可选参数，类型为字符串标量，用于指定压缩类型。包含以下三种类型："uncompressed", "lz4", "zstd"，不区分大小写。本插件默认开启 lz4 压缩方式。
• compressionLevel：可选参数，类型为整型标量。只有 zstd 压缩类型能够指定压缩级别。

详情

将 DolphinDB 中的表以 Feather 格式保存到文件中。关于 Feather 文件中的 Arrow 数据类型与 DolphinDB 数据类型的转化规则，参见数据类型 。

例子

feather::save(table, "path/to/save/data.feather");
feather::save(table, "path/to/save/data.feather", "lz4");
feather::save(table, "path/to/save/data.feather", "zstd", 2);

完整示例

loadPlugin("/path/to/plugins/feather/PluginFeather.txt")
feather::extractSchema("path/to/data.feather");
table = feather::load("path/to/data.feather");
table_part = feather::load("path/to/data.feather", [ "col1_name","col2_name"]);
feather::save(table, "path/to/save/data.feather");
feather::save(table, "path/to/save/data.feather", "lz4");
feather::save(table, "path/to/save/data.feather", "zstd", 2);

DolphinDB 导入 Feather 文件时，Arrow 与 DolphinDB 数据类型转换关系如下：

不支持转换以下 Arrow 类型：binary, fixed_size_binary, half_float, timestamp(us), time64(us), interval_months, interval_day_time, decimal128, decimal, decimal256, list, struct, sparse_union, dense_union, dictionary, map, extension, fixed_size_list, large_string, large_binary, large_list, interval_month_day_nano, max_id

DolphinDB 导出 feather 文件时，DolphinDB 与 Arrow 数据类型的对应关系如下：

不支持转换以下 DolphinDB 类型：MINUTE, MONTH, DATETIME, UUID, FUNCTIONDEF, HANDLE, CODE, DATASOURCE, RESOURCE, ANY, COMPRESS, ANY DICTIONARY, DATEHOUR, IPADDR, INT128, BLOB, COMPLEX, POINT, DURATION

本节介绍通过 Python 读取 Feather 文件时，可能遇到的问题，给出了相应的解决方案：

1. Feather 文件中如果包含 time64(ns) 类型的数据，通过 pyarrow.feather.read_feather() 方法读取可能会报错 Value XXXXXXXXXXXXX has non-zero nanoseconds。这是因为 pyarrow.lib.Table 在转换为 DataFrame 时，time64(ns) 类型会被转换为 datetime.time 类型，而后者不支持纳秒精度的时间数据。建议使用 pyarrow.feather.read_table() 方法进行读取。

2. 通过 pyarrow.feather.read_feather() 读取的 Feather 文件若存在包含空值整型列，则会把该整型列转成浮点类型。建议先将 Feather 读到 pyarrow table 里，通过指定 types_mapper 转换类型。

   pa_table = feather.read_table("path/to/feather_file")
   df = pa_table.to_pandas(types_mapper={pa.int64(): pd.Int64Dtype()}.get)