HDFS

• DolphinDB Server: 2.00.10 及更高版本。

• OS：x86-64 Linux 版本。

1. 在 DolphinDB 客户端中使用 listRemotePlugins 命令查看插件仓库中的插件信息。

   注意：仅展示当前操作系统和 server 版本支持的插件。若无预期插件，可自行编译（请自行选择对应分支下的插件）或在 DolphinDB 用户社区进行反馈。

   login("admin", "123456")
   listRemotePlugins()

2. 使用 installPlugin 命令完成插件安装。

   installPlugin("hdfs")

3. 使用 loadPlugin 命令加载插件。

   loadPlugin("hdfs")

语法

hdfs::connect(nameNode, [port], [userName], [kerbTicketCachePath], [keytabPath], [principal], [lifeTime])

详情

创建和 hdfs 的连接，返回一个连接句柄。如果建立连接失败则会抛出异常。

参数

nameNode STRING 类型标量，是 hdfs 所在的 IP 地址。如果 hdfs 在本地，可以使用 “localhost”， 也可以填完整的集群地址。如果在这个参数中填写了完整的集群地址，则不需要再填写端口号，因为它会使用 hadoop 的集群配置项 fs.defaultFS 的值。

port 整型标量，可选，hdfs 开放的端口号，如果是本地，一般为 9000. 如果 nameNode 填写的是完整的 server 地址，则不需要填 port 这个参数。

userName STRING 类型标量，可选，是可以选择的登录的用户名。

kerbTicketCachePath STRING 类型标量，可选，连接到 hdfs 时要使用的 Kerberos 路径。为 hdfs 集群配置项的 hadoop.security.kerberos.ticket.cache.path 的值。 如果没有指定 keytabPath, principal 和 lifeTime，则该位置是已经生成的 ticket 的路径。 如果指定 keytabPath, principal 和 lifeTime，则该路径是需要生成的 ticket 存储的路径。

keytabPath STRING 类型标量，可选，kerberos 认证过程中用于验证获得票据的 keytab 文件所在路径。

principal STRING 类型标量，可选，kerberos 认证过程中需要验证的 principal。

lifeTime STRING 类型标量，可选，是生成的票据的生存期，D 代表天，H 代表小时，M 代表分钟，S 代表秒。"4h5m" 代表 4 小时 5 分钟，"1d2s" 表示 1 天 2 秒。默认生存期为 1 天。

示例

// 连接普通的 HDFS
conn=hdfs::connect("default",9000);

// 连接 kerberos 认证的 HDFS
keytabPath = "/path_to_keytabs/node.keytab"
cachePath = "/path_to_krb5Cache/cache"
principal = "user/example.com@DOLPHINDB.COM"
lifeTime = "1d3h"
connKerb5=hdfs::connect(`kerb5_url, 9001, , cachePath, keytabPath, principal, lifeTime)

语法

disconnect(hdfsFS)

详情

用以取消已经建立的连接。

参数

hdfsFS connect 函数返回的句柄。

语法

exists(hdfsFS, path)

详情

判断指定的路径（path）是否存在。如果不存在则报错。

参数

hdfsFS connect 函数返回的句柄。

path STRING 类型标量，表示一个 HDFS 系统中的路径。

语法

coHDFS(hdfsFS1, src, hdfsFS2, dst)

详情

将一个 hdfs 中指定路径的文件拷贝到另一 hdfs 的指定路径之中。如果拷贝失败则报错。

参数

hdfsFS1 connect 函数返回的句柄。

src STRING 类型标量，是源文件的路径。

hdfsFS2 connect 函数返回的句柄。

dst STRING 类型标量，目标文件的路径。

语法

move(hdfsFS1,src,hdfsFS2,dst)

详情

将一个 hdfs 中指定路径的文件移动到另一 hdfs 的指定路径之中。如果移动失败则报错。

参数

hdfsFS1 connect 函数返回的句柄。

src 是源文件的路径。

hdfsFS2 connect 函数返回的句柄。

dst 目标文件的路径。

语法

delete(hdfsFS, path, recursive)

详情

删除指定目录或文件。如果删除失败则报错。

参数

hdfsFS connect 函数返回的句柄。

path 表示一个文件路径。

recursive 表示是否递归删除目录。

语法

rename(hdfsFS, oldPath, newPath)

详情

将文件重命名，或移动文件。如果充重命名或移动失败则报错。

参数

hdfsFS connect 函数返回的句柄。

oldPath 重命名之前的文件路径。

newPath 重命名之后的文件路径。如果路径已经经存，且是一个目录，则源文件将被移动到该目录中；如果路径已经存在，且是一个文件，或者缺少父级目录，则会报错。

语法

createDirectory(hdfsFS, path)

详情

创建一个空文件夹。如果创建失败则报错。

参数

hdfsFS connect 函数返回的句柄。

path STRING 类型标量，表示文件夹的路径。

语法

chmod(hdfsFS, path, mode)

详情

修改指定文件或指定文件夹的使用权限。如果修改失败则报错。

参数

hdfsFS connect 函数返回的句柄。

path 想要修改权限的文件路径。

mode 想要修改成为的权限值。

语法

getListDirectory(hdfsFS, path)

详情

返回一个包含目标目录所有信息的句柄。

参数

hdfsFS connect 函数返回的句柄。

path 目标目录。

语法

listDirectory(fileInfo)

详情

列出目标目录下所有文件的详细信息。

参数

fileInfo getListDirectory 函数返回的句柄。

语法

freeFileInfo(fileInfo)

详情

释放目录信息所占用的空间。

参数

fileInfo getListDirectory 函数返回的句柄.

语法

readFile(hdfsFS, path, handler)

详情

从 hdfs 的服务器中读取数据，调用 handler 函数将数据处理后存放在内存表中，返回值为该内存表。 handler 是反序列化接口，用于将 hdfs 中的文件反序列化为 DolphinDB 的 table。它接收2个参数：第一个是文件字节流的 buf 地址，第二个是文件的长度。readFile 函数从 hdfs 中读取文件之后将文件的内容保存到 buf 指向的 buffer 中，并且缓存内容的长度。handler 内部根据长度从 buffer 读取内容，进行反序列化，并保存到 DolphinDB table 中。 目前 handler 仅支持 orc 插件中的 orc::loadORCHdfs, parquet 插件中的 parquet::loadParquetHdfs。如果在 hdfs 中保存了其他格式，则需要定制开发。

参数

hdfsFS connect 函数返回的句柄。

path 是想要读取的文件所在的路径。

handler 是只能够接受两个传入参数的用来处理文件字节流的函数。

示例

// 加载 ORC 插件
loadPlugin("<path_to_ORC_plugin>/PluginOrc.txt")

// 使用其中的 orc::loadORCHdfs 函数读取存在 HDFS 系统上的 ORC 格式的文件
re=hdfs::readFile(conn,'/tmp/testFile.orc',orc::loadORCHdfs)

语法

writeFile(hdfsFS, path, tb, handler)

详情

将内存表以特定格式保存在 hdfs 中。 这里的 handler 是序列化的接口，用于将 DolphinDB 的 table 序列化成字节流，并保存到文件中。它是 readFile 中的 handle 的反操作。handler 将 tb 对象序列化到一个 buffer 中。handler 的参数只有一个，是被序列化的 table 对象，返回值是一个向量，第一个元素是序列化后的 buffer 地址，第二个元素是 buffer 中内容的长度。writeFile 函数会先调用 handler，将 tb 进行序列化，并获取 buffer 地址和长度，然后将 buffer 中的内容写入 hdfs 中的 buffer 里。 目前 handler 只支持 parquet 插件中的 parquet::saveParquetHdfs 函数，如果需要新增其他格式的序列化接口，则需要定制开发。

参数

hdfsFS connect 函数返回的句柄。

path 是想要读取的文件所在的路径。

tb 要保存的内存表。

handler 是接受一个内存表作为参数，将内存表转换为数据流的函数。

示例

// 加载 Parquet 插件
loadPlugin("<path_to_Parquet_plugin>/PluginOrc.txt")

// 使用其中的 parquet::saveParquetHdfs 函数将内存表以 Parquet 格式写入给定的 HDFS 路径
hdfs::writeFile(conn,'/tmp/testFile.parquet',re,parquet::saveParquetHdfs)