从 Oracle 迁移到 DolphinDB

本例中部署 DolphinDB 的服务器操作系统为 Centos。

1. 在安装 Oracle 的客户端前，需先安装 unixODBC 库，使用以下命令安装：

   Centos 系统：

   # 安装 unixODBC 库
   yum install unixODBC unixODBC-devel

   如果是 Ubuntu 系统，使用以下命令安装：

   # 安装 unixODBC 库
   apt-get install unixodbc unixodbc-dev

2. 下载 Oracle 的 ODBC 驱动并安装

   根据 Oracle 官方的要求，安装 Instant Client ODBC 前，需首先安装 Oracle Instant Client Basic 或 Basic Light 软件包，根据官方提供的建议确定需要的安装内容。Oracle 官方安装说明：Oracle Instant Client ODBC 安装说明 。

   确定好需要的安装内容后，可在官方提供的下载链接中 Oracle Instant Client Downloads 根据当前的操作系统和处理器进入到对应的下载链接，比如本文使用的是 Linux 操作系统，x86-64 的指令。进入到下载链接 Instant Client for Linux x86-64 (64-bit) 。然后根据 Oracle 的版本选择对应的 Client 版本并进行下载。

   注意：目前官网上没有给出详细的客户端版本和 Oracle 数据库版本的对应关系，从网上查到的资料来看，如果读者的 Oracle 版本是11.2.xx 版本及以上，可以下载使用最新的客户端版本。版本的最终建议请以官方提供的信息为准。

   可以通过以下方式直接在 Linux 系统中下载对应的安装包：

   wget https://download.oracle.com/otn_software/linux/instantclient/217000/instantclient-basic-linux.x64-21.7.0.0.0dbru.zip
   wget https://download.oracle.com/otn_software/linux/instantclient/217000/instantclient-odbc-linux.x64-21.7.0.0.0dbru.zip

   安装 Oracle 的 ODBC 客户端：

   //安装解压
   mkdir /usr/local/oracle          //存储 oracle-client and oracle-odbc
   mkdir /etc/oracle                //存储 tnsnames.ora
   unzip instantclient-basic-linux.x64-21.7.0.0.0dbru.zip -d /usr/local/oracle/
   unzip instantclient-odbc-linux.x64-21.7.0.0.0dbru.zip -d /usr/local/oracle/

3. 配置 ODBC 配置文件

   1）odbcinst.ini 文件用于设置 ODBC 的某个 Driver 要用到的 ODBC 驱动库的文件路径。 需要在 /etc/odbcinst.ini 中增加以下内容（如果配置文件不存在，需手工创建） :

   [ORAC21c]
   Description     = Oracle ODBC driver for Oracle 21c
   Driver          = /usr/local/oracle/instantclient_21_7/libsqora.so.21.1

   2）/etc/odbc.ini 文件用于设置 ODBC 的某个 Dsn 所用到的 Driver 、账号信息、远程数据库地址以及所要使用的数据库等配置，更多配置项可参考 ODBC 连接字符串配置。其中的 Driver 为 /etc/odbcinst.ini 文件中配置的第一行方括号中的内容。添加内容如下（如果配置文件不存在，需手工创建）：

   [orac]
   Description = odbc for oracle
   Driver      = ORAC21c
   UserID      = system
   Password    = dolphindb123
   ServerName = ORAC21
   Database  = test

   3）Oracle 的 ODBC 驱动需要额外在 /etc/oracle/tnsnames.ora 文件中添加 Oracle 数据库的 IP、PORT 以及 SID 信息。其中 ORAC 配置项名为 /etc/odbc.ini 文件中配置的 ServerName。 在 etc/oracle/tnsnames.ora 添加（如果配置文件不存在，需手工创建）：

   ORAC=
   (DESCRIPTION =
     (ADDRESS_LIST =
       (ADDRESS = (PROTOCOL = TCP)(HOST = <oracle ip>)(PORT = 1521))
     )
     (CONNECT_DATA =
       (SID=ora21c)
     )
   )
   

   注意：理论上 tnsnames.ora 的配置内容可以直接放到 odbc.ini 配置文件中，不影响 ODBC 连接 Oracle 数据库，但是根据实践来看，Oracle 的 ODBC 某些接口仍然会使用到 tnsnames.ora 配置文件，所以该文件必须配置。

4. 测试 ODBC 连接

   配置环境变量：

   vi ~/.bashrc
   
   export LD_LIBRARY_PATH=/usr/local/oracle/instantclient_21_7:$LD_LIBRARY_PATH
   export TNS_ADMIN=/etc/oracle

   使配置生效：

   source ~/.bashrc

   测试连接及预期结果如下：

   isql -v orac
   
   /**********output********/
   +---------------------------------------+
   | Connected!                            |
   |                                       |
   | sql-statement                         |
   | help [tablename]                      |
   | quit                                  |
   |                                       |
   +---------------------------------------+
   SQL> 

   也可以在 DolphinDB 安装包的配置文件中增加环境变量配置，这样每次启动 DolphinDB 即可增加环境配置。如果是单节点模式，可以在 startSingle.sh 文件中添加如下环境变量，如果是集群模式，需要在 startAgent.sh 文件中添加，内容如下：

   export LD_LIBRARY_PATH=/usr/local/oracle/instantclient_21_7:$LD_LIBRARY_PATH
   export TNS_ADMIN=/etc/oracle
   export NLS_LANG='AMERICAN_AMERICA.AL32UTF8'

5. 可能缺少的文件

   安装 Oracle Instant Client 时，如果是使用离线安装的，可能会提示缺少 libsqora 、libodbcinst 、libnsl 等，这里提供相关的安装命令，也可以从网上下载到需要的 lib 并手工传到服务器上，命令如下：

   yum install libaio
   yum install libnsl
   # 有些是缺少链接，而不是缺少文件
   ln -s libodbcinst.so.2.0.0 libodbcinst.so.1

其他常见问题，可参考 ODBC_plugin_user_guide 文章中的 “ODBC 插件使用注意事项和常见问题”一章。

1. 运行以下命令加载 ODBC 插件（ ServerPath 请自行修改）

   loadPlugin("ServerPath/plugins/odbc/PluginODBC.txt")

2. 运行以下命令建立与 Oracle 的连接 （ Dsn 的名称请自行修改）

   conn = odbc::connect("Dsn=orac", `Oracle)

3. 运行以下命令开始同步数据

   def transForm(mutable msg){
   	msg.replaceColumn!(`TradeQty, int(msg[`TradeQty]))
   	msg.replaceColumn!(`BuyNo, int(msg[`BuyNo]))
   	msg.replaceColumn!(`SellNo, int(msg[`SellNo]))
   	msg.replaceColumn!(`ChannelNo, int(msg[`ChannelNo]))
   	msg.replaceColumn!(`TradeIndex, int(msg[`TradeIndex]))
   	msg.replaceColumn!(`BizIndex, int(msg[`BizIndex]))
   	return msg
   }
   
   def syncData(conn, dbName, tbName, dt){
   	sql = "select SecurityID, TradeTime, TradePrice, TradeQty, TradeAmount, BuyNo, SellNo, ChannelNo, TradeIndex, TradeBSFlag, BizIndex from ticksh"
   	if(!isNull(dt)) {
   		sql = sql + " WHERE trunc(TradeTime) = TO_DATE('"+dt+"', 'yyyy.MM.dd')"
   	}
       odbc::query(conn,sql, loadTable(dbName,tbName), 100000, transForm)
   }
   
   dbName="dfs://TSDB_tick"
   tbName="tick"
   syncData(conn, dbName, tbName, NULL)

   数据共 27211975 条，同步数据耗时约210秒。

4. 后台多任务同步数据

   本教程中 DolphinDB 的数据库按天分区，如果需要同步多天的数据，可以提交多个任务到后台：

   for(dt in 2021.01.04..2021.01.05){
   	submitJob(`syncOracTick, `syncOracTick, syncData, conn, dbName, tbName, dt)
   }
   // 查看后台任务
   select * from getRecentJobs() where jobDesc = `syncOracTick

从 DataX 下载地址 下载 DataX 压缩包后，解压至自定义目录。

将 DataX-DolphinDBWriter中源码的 ./dist/dolphindbwriter 目录下所有内容拷贝到 DataX/plugin/writer 目录下，即可使用。

1. 配置 json 文件

   配置文件 oracleddb.json 的具体内容如下，并将 json 文件置于自定义目录下，本教程中方放置于 datax-writer-master/ddb_script/ 目录下。

   {
           "job": {
                   "content": [{
                           "writer": {
                                   "parameter": {
                                           "dbPath": "dfs://TSDB_tick",
                                           "userId": "admin",
                                           "tableName": "tick",
                                           "host": "127.0.0.1",
                                           "pwd": "123456",
                                           "table": [
                                               {
                                                    "type": "DT_SYMBOL",
                                                    "name": "SecurityID"
                                               },
                                               {
                                                   "type": "DT_TIMESTAMP",
                                                   "name": "TradeTime"
                                               },
                                               {
                                                   "type": "DT_DOUBLE",
                                                   "name": "TradePrice"
                                               },
                                               {
                                                   "type": "DT_INT",
                                                   "name": "TradeQty"
                                               },
                                               {
                                                   "type": "DT_DOUBLE",
                                                   "name": "TradeAmount"
                                               },
                                               {
                                                   "type": "DT_INT",
                                                   "name": "BuyNo"
                                               },
                                               {
                                                   "type": "DT_INT",
                                                   "name": "SellNo"
                                               },
                                               {
                                                   "type": "DT_INT",
                                                   "name": "TradeIndex"
                                               },
                                               {
                                                   "type": "DT_INT",
                                                   "name": "ChannelNo"
                                               },
                                               {
                                                   "type": "DT_SYMBOL",
                                                   "name": "TradeBSFlag"
                                               },
                                               {
                                                   "type": "DT_INT",
                                                   "name": "BizIndex"
                                               }
                                           ],
                                           "port": 8858
                                   },
                                   "name": "dolphindbwriter"
                           },
                           "reader": {
                                   "parameter": {
                                           "username": "system",
                                           "column": ["SecurityID", "TradeTime", "TradePrice", "TradeQty", "TradeAmount", "BuyNo", "SellNo", "ChannelNo", "TradeIndex", "TradeBSFlag", "BizIndex"],
                                           "connection": [{
                                                   "table": ["ticksh"],
                                                   "jdbcUrl": ["jdbc:oracle:thin:@127.0.0.1:1521:ora21c"]
                                           }],
                                           "password": "dolphindb123",
                                           "where": ""
                                   },
                                   "name": "oraclereader"
                           }
                   }],
                   "setting": {
                           "speed": {
                                   "channel": 1
                           }
                   }
           }
   }

2. Linux 终端中执行以下命令以执行 DataX 任务

   cd ./dataX/bin/
   python datax.py --jvm=-Xmx8g ../../datax-writer-master/ddb_script/oracleddb.json

   部分 DataX 版本需要使用以下方式，配置 jvm 内存：

   python datax.py --jvm="-Xms1g -Xmx8g" ../../datax-writer-master/ddb_script/oracleddb.json

3. 查看 DataX 同步结果

   任务启动时刻                    : 2023-06-06 15:41:34
   任务结束时刻                    : 2023-06-06 15:45:49
   任务总计耗时                    :                254s
   任务平均流量                    :            6.44MB/s
   记录写入速度                    :         107133rec/s
   读出记录总数                    :            27211975
   读写失败总数                    :                   0