基于 DataX 的 DolphinDB 数据读取工具

下面以从 DolphinDB 向 Oracle 导入一张表 BASECODE 进行示例。

首先在导入前，需要在 Oracle 中预先创建好目标数据库和表；然后使用 DolphinDBReader 从 DolphinDB 读取 BASECODE 源表全量数据；再使用 oraclewriter 将读取到的 BASECODE 数据写入 Oracle 对应的目标表中。

编写配置文件 BASECODE.json，并存放到指定目录，比如 /root/datax/myconf 目录下，配置文件说明请参考附录一。

配置完成后，在 datax/bin 目录下执行如下脚本即可启动数据同步任务。

cd /root/datax/bin/
python2 datax.py /root/datax/myconf/BASECODE.json

（仅介绍 DolphinDBReader 的参数，writer 参数根据写入目标数据库的不同而不同，详情参阅：datax指南 ）

• host
  • 描述：Server Host。
  • 必选：是。
  • 默认值：无。
• port
  • 描述：Server Port。
  • 必选：是。
  • 默认值：无。
• userId
  • 描述：DolphinDB 用户名。导出分布式库时，必须要有权限的用户才能操作，否则会返回。
  • 必选：是。
  • 默认值：无。
• pwd
  • 描述：DolphinDB 用户密码。
  • 必选：是。
  • 默认值：无。
• dbPath
  • 描述：需要读出的目标分布式库名称，比如 dfs://MYDB。
  • 必选：是。
  • 默认值：无
• tableName
  • 描述: 读出数据表名称。
  • 必选: 是。
  • 默认值: 无。
• where
  • 描述: 可以通过指定 where 来设置条件，比如 "id >10 and name = `dolphindb"。
  • 必选: 是。
  • 默认值: 无。
• table
  • 描述：读出表的字段集合。内部结构为：{"name": "columnName"}。请注意此处列定义的顺序，需要与原表提取的列顺序完全一致。
  • 必选: 是。
  • 默认值: 无。
• name：
  • 描述：字段名称。
  • 必选: 是。
  • 默认值: 无。
• querySql:
  • 描述：在部分业务场景下，若配置项参数 where 无法描述筛选条件，用户可使用 querySql 以实现 SQL 自定义筛选。 注意，若用户配置了 querySql，则插件 DolphinDBReader 将忽略配置项参数 table, where 的筛选条件，即 querySql 的优先级大于table, where。
  • 必选：否。
  • 默认值：无。
  • 使用示例：

  {
    "job": {
        "setting": {
            "speed": {
                 "channel": 1
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "dolphindbreader",
                    "parameter": {
                        "userId": "admin",
                        "pwd": "123456",
                        "host": "192.168.1.167",
                        "port": 18921,
  						"dbPath": "dfs://test_allDateType3",
  						"tableName": "pt1",
                        "querySql": "select col1,col2,col3,col4,col5 ,col15,col16 as ttt from loadTable(\"dfs://test_allDateType3\",`pt1) "
                    }
                },
               "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "system",
                        "password": "DolphinDB123",
                        "column":["*"],
                        "connection":[
                            {
                            "jdbcUrl":"jdbc:oracle:thin:@192.168.0.9:1521/orcl",
                            "table":[
                                "reader_int"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
  }