DolphinDB Py Plugin

• libpython3.6m.so

  如果版本不同，在使用cmake构建插件时可用DPYTHON:STRING指定对应版本。目前只支持python3.6版本。

• libDolphinDB.so（release130分支动态链接openblas.so动态库版本）

  请参考插件开发教程进行配置。

• libOpenblas.so

  如果无法找到，需要自行安装OpenBLAS。Linux中可直接用以下命令安装：

  git clone https://github.com/xianyi/OpenBLAS.git
  make
  make install PREFIX=your_installation_directory

  默认安装目录为/opt/OpenBLAS，请将该路径添加到环境变量中。

需要修改配置文件dolphindb.cfg，添加libpython3.6m.so动态库绝对路径。

globalDynamicLib=/path_to_libpython3.6m.so/libpython3.6m.so

注意：开发过程中需要有完整的python运行环境，且插件运行时sys.path打印的路径要和安装的运行环境一致。

loadPlugin("/path_to_PluginPy/PluginPy.txt");

注意：由于数据类型转换时需要用到numpy和pandas中的数据类型，python环境中需要安装numpy和pandas模块。如果不安装numpy和pandas模块，加载的时候将会导致系统崩溃（常见出错信息如下）。 此外如果使用的是Anaconda，因为Anaconda自带的libstdc++.so.6动态库版本较高，而DolphinDB为了保证兼容性使用的是较低版本的libstdc++.so.6，两者冲突会导致加载插件失败，所以需要使用 pip uninstall pandas 卸载原来的pandas，然后使用 pip install pandas 重新安装pandas，不能使用 conda install 进行安装，否则会链接高版本的libstdc++.so.6。同理插件中要使用到的有链接libstdc++.so.6动态库的模块都需要使用 pip uninstall 和 pip intall 重新安装。除了上述重新安装的方法，还可用Anaconda里lib目录下的libstdc++.so.6替换DolphinDB目录下的libstdc++.so.6（为了防止意外，请先将原文件进行备份），这样就不用重新安装模块了。

terminate called after throwing an instance of 'pybind11::error_already_set'
  what():  ModuleNotFoundError: No module named 'numpy'

py::reloadModule(module)

loadPlugin("/path/to/plugin/PluginPy.txt");
use py;

x = 1 2 3 4;
y = 2 3 4 5;
d = dict(x, y);
pyDict = py::toPy(d);
Dict = py::fromPy(pyDict);
Dict;

sys = py::importModule("sys");
path = py::getObj(sys, "path");
dpath = py::fromPy(path);
dpath;

np = py::importModule("numpy"); //导入numpy
eye = py::getFunc(np, "eye"); //获取numpy中的eye函数
re = eye(3); //执行eye函数生成对角矩阵
re;

random = py::getObj(np, "random"); //获取numpy子模块random
randint = py::getFunc(random, "randint"); //获取random中的randint函数见
re = randint(0,1000,[2,3]); //执行randint函数
re;

//方法一
linear_model = py::importModule("sklearn.linear_model"); //导入sklearn子模块linear_model
linearInst = py::getInstance(linear_model,"LinearRegression") 
//方法二
sklearn = py::importModule("sklearn"); //导入sklearn
py::cmd("from sklearn import linear_model"); //从sklearn导入linear_model模块
linearR = py::getObj(sklearn,"linear_model.LinearRegression")
linearInst = py::getInstanceFromObj(linearR);

X = [[0,0],[1,1],[2,2]];
Y = [0,1,2];
linearInst.fit(X, Y); //调用fit函数
linearInst.coef_; // output: [0.5,0.5]
linearInst.intercept_; // output: 1.110223E-16 ~ 0
Test = [[3,4],[5,6],[7,8]];
re = linearInst.predict(Test); //调用predict函数
re; //output: [3.5, 5.5, 7.5]

datasets = py::importModule("sklearn.datasets");
load_iris = py::getFunc(datasets, "load_iris"); //获取静态函数load_iris
iris = load_iris(); //调用静态函数load_iris

datasets = py::importModule("sklearn.datasets");
decomposition = py::importModule("sklearn.decomposition");
PCA = py::getInstance(decomposition, "PCA");
py_pca=PCA.fit_transform(iris['data'].row(0:3)); //取iris['data']前三行数据进行训练
py_pca.row(0);  //output:[0.334781147691283, -0.011991887788418, 2.926917846106032e-17]

注意：DolphinDB中若要从矩阵中取行数据要用row函数，如上例中的 iris['data'].row(0:3) 为取前三行数据。iris['data'][0:3] 为取前三列数据。

本例中我们自己实现了一个如下所示的python模块，里面有两个静态方法，fib(n)打印从0到n的Fibonacci数列，fib2(n)返回从0到n的Fibonacci数列。我们将该模块保存为fibo.py，并将其拷贝到dolphindb所在的目录下（或者拷贝到sys.path打印的lib路径下）：

def fib(n):    # write Fibonacci series up to n
    a, b = 0, 1
    while a < n:
        print(a, end=' ')
        a, b = b, a+b
    print()

def fib2(n):   # return Fibonacci series up to n
    result = []
    a, b = 0, 1
    while a < n:
        result.append(a)
        a, b = b, a+b
    return result

之后我们便能加载插件，在dolphindb中导入该模块进行使用：

loadPlugin("/path/to/plugin/PluginPy.txt"); //加载插件

fibo = py::importModule("fibo");  //导入该模块
fib = py::getFunc(fibo,"fib");  //获取模块中的fib函数
fib(10);  //调用fib函数，打印出0 1 1 2 3 5 8
fib2 = py::getFunc(fibo,"fib2"); //获取模块中的fib2函数
re = fib2(10);  //调用fib2函数
re;   //output: 0 1 1 2 3 5 8

在调用某些python函数时如果返回DataFrame，若要保留index作为转换后table的第一列，需要在调用getFunc时指定convert=false，然后手动调用fromPy函数将结果转换成table，需要设置addIndex=true。首先实现一个函数返回一个pandas.DataFrame，将其保存成demo.py，并将其拷贝到dolphindb所在的目录下（或者拷贝到sys.path打印的lib路径下）：

import pandas as pd
import numpy as np
def createDF():
    index=pd.Index(['a','b','c'])
    df=pd.DataFrame(np.random.randint(1,10,(3,3)),index=index)
    return df

之后加载插件，导入模块加载函数并调用，这样返回的结果中第一列便为dataframe的index：

loadPlugin("/path/to/plugin/PluginPy.txt"); //加载插件

model = py::importModule("demo");
func1 = py::getFunc(model, "createDF", false)
tem = func1()
re =  py::fromPy(tem, true)

• DolphinDB CHAR类型会被转换成Python int64类型。
• vector和matrix都会转成numpy.array，时间类型都会转成python pandas中的时间类型，所以python环境中需要安装numpy和pandas模块。
• 由于python pandas中所有有关时间的数据类型均为datetime64[ns]，DolphinDB中table的所有时间类型数据均会被转换为datetime64[ns]类型。MONTH类型，如2012.06M，会被转换为2012-06-01（即月份当月的第一天），由于pandas时间戳范围限制，MONTH范围要在1970.01M-2262.04M之间，DATE和DATETIME日期范围要在1677.09.22-2062.04.11之间。TIME, MINUTE, SECOND与NANOTIME类型不包含日期信息，转换时会自动添加1970-01-01，例如13:30m会被转换为1970-01-01 13:30:00。
• DolphinDB中的逻辑型、数值型和时序类型的NULL值默认情况下会转换成NaN或NaT ，字符串的NULL值为空字符串。如果Vector中有NULL值，数据类型可能会发生改变，比如bool类型的Vector如果包含NULL值，NULL会转换成NaN，因此数据类型变成float64，True会变成1，False会变成0。

• numpy.array会根据维度转换成vector（1维）或者matrix（2维）。

• pandas.DataFrame中的时间数据类型都是datetime64[ns]，所以在转换成table时，时间类型都会转换成NANOTIMESTAMP类型。

• 从pandas.DataFrame转换成table时，如果列名不符合dolphindb支持的列名，则会根据以下规则自动调整列名：

  • 若数据中列名存在中文或英文字母、数字或下划线之外的字符，将其转换为下划线。
  • 若数据中列名第一个字符不是中文或英文字母，添加”c”作为该列名首字符。